Dell PowerEdge R760服务器:风冷 vs. 液冷散热**

2023-06-13 企业存储技术

接前文:《风冷双路350W:PowerEdge 16G服务器的Smart Flow机箱选项

目录

- 配件组合:风扇、CPU散热片

- 风冷350W CPU、12x 3.5”盘位**

- 256GB DDR5内存条散热挑战

- NVMe SSD:功耗高的支持温度受限?

- GPU:为什么A40散热要求不同

- 液冷的差别

在看过技术文档《Dell PowerEdge R760 Installation and Service Manual 》之后,关于新一代16G服务器的散热设计,我有了更多可以跟大家分享的东西。

Front view of 16 x 2.5-inch drive system

关于16盘位“中间开窗”布局的意义,在本文中就不再重复赘述了。

Inside the system with processor liquid cooling module

两年前我写过一篇《冷板式液冷标准化:PowerEdge 15G服务器散热杂谈》,如今Dell 16G继续保持风冷或者DLC液冷2种出厂配置。但由于新的CPU TPU提高到350W(Intel)/ 400W(AMD),风冷散热面对挑战也做出了改进。

配件组合:风扇、CPU散热片

在PowerEdge R760 2U服务器的风扇排中,一共支持3种等级的60mm风扇:Standard标准(STD)、HPR Silver高性能银牌(HPR)、HPR Gold高性能金牌(VHP)。在前一篇中我就提到过,有些情况下必须用最强的VHP风扇。

CPU散热器同样分为3种:

- STD HSK应该是与1U服务器通用的普通散热片,支持CPU不超过165W,并且只支持2.5英寸驱动器和非GPU配置;

- 2U HPR HSK高性能散热片的高度更高,在3.5英寸盘和非GPU配置中支持125W-***W CPU,在2.5英寸盘和非GPU配置中可支持165W-350W CPU;

- L-type HSK:支持所有GPU/FPGA配置。由于2U全尺寸散热片会与PCIe双宽全长扩展卡干涉,并且还要避免气流经过CPU散热片后温度上升,所以在1U散热器基础上衍生出L型增大面积。

来自上一代1U AMD机型《Dell EMC PowerEdge R6525安装和服务手册》

在《1U双路风冷350W?点评方升服务器散热设计》一文中,我曾经引用过上图,L型散热片的样子可以参考下这个。

风冷350W CPU、12x 3.5”盘位**

上图中最左边2列,是CPU的TDP(热设计功耗)/ cTDP,和T-Case表面最高中心点温度,往右的每一列则代表不同的前置+后置存储驱动器布局。

我只着重讲几点吧。首先,在12块3.5英寸HDD机械盘的配置中,HPR Gold(VHD)风扇最高转速只能跑到70%。这里主要应该是因为振动对硬盘性能和寿命的影响;另外我在《Facebook如何将硬盘性能损失由90%降低到2% 》中还谈到过另一种情况——风扇引起的噪声也可能影响到硬盘。

那为什么2.5英寸硬盘不受这个影响呢?据我了解,在PowerEdge R760这款服务器上支持的2.5寸HDD,应该只有10K转速而不再有7.2K NL盘了。下图可以做一个参考:

上表我曾经在多年前撰文时引用过。右边的“桌面盘”,抗旋转振动指标在5-12 rads/sec/sec之间,实际上7200转NL近线企业级硬盘就是12的水平;而15K高转速企业级硬盘的机械组件品质要求更高,所以RV值达到21 rads/sec/sec,10K盘应该也接近15K的抗旋转振动能力。

扩展阅读《这些硬盘参数你都懂吗?(上)-从案例引发的讨论

这些硬盘参数你都懂吗?(下)-监控选型与**设计

3.5寸“大盘”一方面影响到风扇最高转速,前面板空气流阻也相对较大,所以导致在这种存储配置下,***W以上功耗的CPU只能用液冷。

另外我还注意到,在350W CPU的Tcase最高温度还分为两种等级。实际上支持较低的57/66℃型号,就是上面这两款Intel***至强Scalable中,专门液冷用途的Xeon Platinum 8470Q和Xeon Gold 6458Q。风冷自然无法压住它们。

扩展阅读:《关于***Intel Xeon Scalable的一些技术思考

256GB DDR5内存散热挑战

在上面图表中,左边第一列是单条内存容量,第二列是2DPC(每通道满配2条)/ Power(我觉得这里写的应该是单条功耗,如果搞错了请大家在文末留言告诉我)。

由于256GB DDR5 RDIMM功耗达到12.7W,这样满配32条对散热的要求也不低。如果R760机箱风扇使用HPR银牌,虽然也能最高支持2颗350W CPU风冷,但只有在几种24x 2.5寸盘位配置下,才能支持256GB内存条运行于35℃环境温度下。

余下几种配置,都需要CPU采用DLC冷板式液冷,包括16x 2.5寸SAS盘位,看来“中间开窗”照顾CPU散热也不是完全没有副作用——多少影响了一点两侧的进风均衡?目前我只在256GB内存这一点上看出来。

NVMe SSD:功耗高的支持温度受限?

上面图表给大家参考。6款NVMe SSD中,我看到功耗最高的三星PM1733(22W),是唯一在24x 2.5英寸SAS配置的后置盘位中只能支持到30℃进风温度的。但功耗与环境温度又不总是成正比的,比如20W的Intel P5520在上表中排第二高,但反而在12x 3.5英寸的后置盘位中能支持35℃**进风。看来各家SSD主控等芯片的耐热能力可能有差别

Removing a 2 x 2.5-inch rear drive module cooling fan

上图中的风扇,是专门用于后置2x 2.5英寸存储盘位散热的。

GPU:为什么A40散热要求不同

如上表,PowerEdge R760能支持2块双宽最高350W的GPU(NVIDIA H100等),或者6块75W单宽的A2。有点例外的是,300W功耗的A40在有些配置下只能支持30℃环境温度,这是为什么呢?

根据我的理解,A40可以理解为工作站显卡A6000的变种,一方面把主动风扇改成被动散热器,同时还保留了3个DP显示输出——应该就是这里影响了风道的效率。

上图是R760服务器GPU配置对应的导风罩,与non-GPU的风罩不一样,所以给大家看下。

另外,前面我引用的部分表格是没有GPU的配置,在Dell这份文档里还有更全面的散热配置参考,限于本文讨论重点没有全部列出。下面是一张液冷配置的内存支持情况。

如果CPU换成DLC液冷,服务器机箱内的温度能明显降低,这样除了在256GB RDIMM和3.5寸盘的配置,余下范围只要STD标准风扇就能满足内存的散热需求了。

扩展阅读:《350W+ CPU、700W+ GPU功耗:冷板和浸没式液冷哪个更有前途?

参考资料 https://dl.dell.com/content/manual32513608-dell-poweredge-r760-installation-and-service-manual.pdf?language=en-us&ps=true


注:本文只代表作者个人观点,与任何组织机构无关,如有错误和不足之处欢迎在留言中批评指正。如果您想在这个公众号上分享自己的技术干货,也欢迎联系我:)

尊重知识,转载时请保留全文。感谢您的阅读和支持!


相关股票:
相关概念: 芯片 5G

崛起的中科系,被改变的我国芯片产业格局

当前,以芯片为代表的信创产业逐步成为国家科技竞争力的重要标志。在国产CPU产业强势崛起的过程中,你首先想到的会是哪几企业?答案有很多,但“中科系”的提及率绝对很高。作为国家战略科技力量,“中科系”旗下

芯片战场丨芯片领域三箭齐发 英特尔跑步突围

21世纪经济报道记者倪雨晴 圣何塞报道在硅谷源泉之一的圣何塞,英特尔CEO帕特·基辛格(Pat Gelsinger)正在带领英特尔加速奔跑。当地时间9月19日,2023英特尔on技术创新大会于美国加利

OPPO重启芯片业务?国产芯片或需告别“单打独斗”

财联社9月19日讯(记者 唐植潇)近日有消息称,OPPO将会重启芯片业务,并且“有部分员工已经回流,加入到了车载业务之中”。记者就此事向OPPO方面进行核实,对方表示“不予置评”。特百惠(我国)数字与

600亿颗芯片!我国巨头正式宣布,美媒:**也没料到制裁这么快

我国芯片市场与美国依赖我国的集成电路市场一直以来都是一个巨大的市场,拥有庞大的需求和巨大的增长潜力。我国的电子消费市场一直在迅速增长,包括智能手机、电视、电脑和各种智能设备等,这些设备都需要高性能的芯

最新手机芯片天梯图:A17、华为麒麟9000S,排在什么位置?

近日,最火的两颗芯片分别是苹果的3nm芯片A17 Pro,虽然很多人吐槽它较上一代提升不明显,但论性能,可以碾压任何安卓芯片,甚至是领先2代的。另外一款芯片,则是华为麒麟9000S,当然,这颗芯片工艺

韩国芯片连续13个月暴跌,尹锡悦指责我国不采购,外媒:自食其果

据韩国媒体称,韩国的半导体出口额已经连续暴跌13个月了,比去年同比下降了28%左右。韩国政府急的焦头烂额。尹锡悦政府竟直接甩锅我国,话里话外都是指责,他认为韩国半导体卖不出竟是我国的原因,我国应该帮助

我国突破芯片瓶颈将影响全球秩序?美国很担心,指出我国关键弱点

我国在芯片半导体领域一直深受美国的**,通过贸易制裁的方式阻止高端芯片进入我国市场。这样的举措一度造成我国芯片领域发展断档,不过随着我国科技企业近几年的突破,目前我国已经在芯片制造方面取得了重大的成果

没有他,我国芯片发展至少要**十年?

前几天,华为一声不响的上线了mate60系列,带着麒麟芯片9000s强势回归,吸引了全世界的目光。而华为麒麟芯片**背后,我们不该忘记这位老人—张汝京。我国半导体之父,为回**造芯片,被开除**户籍,

陈清泰:未来汽车颠覆传统,50%以上的零部件体系面临重构

【有车以后 资讯】“未来汽车对传统汽车的颠覆性,使传统零部件体系的50%以上都面临重构。”12月16日,在全球智能汽车产业峰会(GIV2022)上,我国电动汽车百人会理事长陈清泰指出,智能汽车的价值链

「姿势」一辆汽车由多少个零件组成?保证你说不清...

投稿点这里汽车有多少个零件?其实这个问题并没有一个十分确切的标准答案...据估计,一般轿车约由1万多个不可拆解的**零部件组装而成。结构极其复杂的特制汽车,如F1赛车等,其**零部件的数量可达到2万个

全球最大的10家汽车零部件供应商 都是世界500强 无我国企业

【卡车之家 原创】美国《财富》**每年发布的世界500强排行榜,是以营业收入数据对全球企业作出排名的榜单。2017年“世界500强”榜单中,汽车制造商和零部件厂商共占据33席(除去大型工程车辆企业),

汽车零部件企业哪家强?除了博世**还有这些名字你一定耳熟能详

文:懂车帝原创 李德喆[懂车帝原创 行业]9月18日,由《我国汽车报》主办,罗兰贝格协办的2019汽车零部件“双百强”企业发布会在江苏南京举行。在两份榜单中,博世、**、电装位列2019全球汽车零部件

汽车零部件行业现状及产业链

行业现状(Reference:产业运行 | 2021年汽车工业经济运行情况)中汽协预测:2022年我国汽车销量达到2700万辆,新能源销量超过550万辆(Reference:乘用车市场信息联席会)以乘

全球十大汽车零部件供应商,核心技术都被他们垄断,自主遗憾缺席

提到电影,我们会想到张艺谋、冯小刚,而很少会想到幕后的制作人;提起流行乐,我们会想到周杰伦、萧敬腾,而很少会想到背后的作词人。台前台后,一幕之别,知名度往往相差甚远。车界又何尝不是如此,知名车企我们都

高清汽车各零部件构造图,看完你就是汽车专家!

2023世界移动通信大会即将举行,大批中企强势回归!

来源:环球时报 【环球时报记者 倪浩 陶震 环球时报驻德国特约记者 青木】经过3年疫情后,全球最具影响力的通信展今年有望再现往日盛况。2月27日至3月2日,由全球移动通信**协会(GSMA)主办的20

太空新赛道:6G时代的卫星通信,究竟是什么?

近日华为、苹果争相推出手机卫星通信功能,成为一大亮点,不少手机厂商也将目光投到卫星通信。放眼未来,手机直连卫星的卫星通信服务将是大势所趋,也是6G时代的重要标志。华为以“北斗三号”为依托,率先把“卫星

光纤#光纤通信

国内企业在光通信产品的参数测试过程中,通常使用国外的先进测试设备。然而,这些测试仪器之间往往是孤立存在的,需要手动调试仪器并通过旋钮、按钮和人眼观察波形或数据。这不仅*作繁琐易出错,而且测试效率低下。

龙头20cm涨停,7天股价翻倍!一文看懂卫星通信前世今生及产业链

卫星通信概念股华力创通今日再度强势拉升,截至发稿,该股股价20cm涨停,7个交易日累计涨幅近113%,现报23.52元续刷阶段新高,总市值155.9亿元。消息上,有媒体从供应链获悉,Mate 60 P

工信部:目前我国尚不具备实现网络层面的移动通信号码归属地变更的条件

针对网友提出的“电话号码归属地更改”建议,工信部近日给出了官方回复。此前,有网友在人民网留言板向工信部留言称,“现在电话都是实名制,电话号绑定的***及一些主流的软件较多,更换号码后造成一系列问题

AD
更多相关文章