上周跟一个老朋友吃饭,他在一家头部云厂商做数据中心架构师,管着华东区三个大型算力机房。聊到一半他突然叹气:机柜功率密度从最早的6kW一路飙到25kW,现在规划的新集群单柜奔着40kW去了,800G光模块插上去,交换机面板烫得能煎鸡蛋。风冷已经压不住了,液冷改造成本高得吓人,老板还催着下个月上线。他问我,这散热到底该怎么搞。
这个问题不是他一个人的焦虑。今年我接触了七八个算力机房项目,从互联网大厂到智算中心,几乎都在为800G高密度部署的散热发愁。今天就从网络拓扑和扩容规划的角度,聊聊这个事。
常见误区
第一个误区,很多人觉得800G光模块功耗一定比400G高很多,散热压力主要来自模块本身。实际情况是,800G光模块每比特功耗比400G降低了约30%,单模块功耗确实从400G时代的12W左右涨到了16-18W,但换算成单位带宽的散热需求反而是下降的。真正的散热瓶颈不在模块,而在交换机面板密度——一台64端口800G交换机满配时,面板热密度能到每平方厘米0.8W以上,这才是要命的地方。
第二个误区,认为上了液冷就万事大吉。液冷确实能解决芯片级散热,但光模块和连接器对温度极其敏感,液冷板覆盖不到这些区域。我们做过测试,冷板式液冷环境下,交换机前面板光模块区域温度仍然比板卡内部高8-12℃。散热设计得从系统级考虑,不是单点突破。
第三个误区,扩容规划时只看当前需求,不留散热余量。很多机房按满配功耗设计制冷,但实际部署是分批上线的,早期低负载时空调系统低效运行,后期满配时又发现局部热点压不住。散热规划得跟着网络拓扑走,不是简单按机柜平均功率算。
技术分析
800G高密度部署的散热问题,核心矛盾是面板热密度和气流组织的冲突。传统风冷交换机前进风后出风,800G模块发热集中在前面板,冷风刚进来就被加热,后排模块吸的是热风。我们实测过某品牌64口800G交换机,满配时光模块进风温度比环境温度高14℃。
‖ 对比项 ‖ 风冷方案 ‖ 冷板液冷 ‖ 浸没式液冷 ‖
‖ 支持单柜功率 ‖ 15-25kW ‖ 30-50kW ‖ 50-100kW+ ‖
‖ 光模块区域温升 ‖ 12-18℃ ‖ 8-12℃ ‖ 3-5℃ ‖
‖ 改造成本 ‖ 低 ‖ 中高 ‖ 高 ‖
‖ 运维复杂度 ‖ 低 ‖ 中 ‖ 高 ‖
‖ 适用场景 ‖ 存量机房改造 ‖ 新建高密集群 ‖ 极致算力场景 ‖
从拓扑角度看,800G时代交换机端口密度翻倍,叶脊架构下叶交换机数量减少但单台功率飙升。睿海光电在给客户做布线规划时发现,采用OSFP封装800G模块配合优化风道设计的交换机,面板温升可控制在10℃以内。关键是模块本身的散热设计——外壳导热材料和内部气流通道优化,能带走30%以上的热量。
选型建议
如果你正在规划800G高密度机房,散热方案选择得看三个维度:单柜功率、机房条件和业务连续性要求。
单柜15-25kW的场景,优化风冷还能撑住。重点是选对光模块和交换机组合。优先选带散热鳍片设计的OSFP模块,交换机要支持前后风道可调。睿海光电的800G OSFP系列在散热结构上做了针对性优化,配合主流交换机厂商的风道设计,实测面板温升比通用模块低3-5℃。机柜布局上,800G交换机建议间隔部署,别把高功率设备堆在一起。
单柜30-50kW,冷板液冷是主流选择。但要注意光模块区域的辅助散热——可以在交换机前面板加装微型导流罩,把液冷回路的冷量引一部分过来。布线用高弯曲半径的低损耗跳线,减少线缆堆积对气流的影响。
单柜50kW以上,浸没式液冷是方向。但光模块得选耐冷却液的型号,连接器要做密封处理。这种方案前期投入大,适合新建的智算中心。
不管选哪种方案,扩容规划都要留20%的散热余量。网络拓扑从400G向800G演进时,叶交换机数量减少但单台功率翻倍,机房空调系统的分区控制要跟上。
趋势展望
未来两年,800G会向1.6T演进,单模块功耗可能到25-30W。散热方案会从现在的“风冷+液冷混合”逐步转向“液冷为主、风冷为辅”。光模块厂商也在推低功耗方案,比如线性驱动可插拔光学(LPO),去掉DSP后功耗能降40%左右,但互联距离受限,适合短距场景。
另一个趋势是散热和网络拓扑的协同设计。交换机厂商开始把液冷管路直接集成到面板区域,光模块插进去就能接触到冷板。这种系统级方案比后期改造有效得多。
应用案例
去年睿海光电交付了一个全球Top5云服务商的中国区域核心算力枢纽项目。这个项目服务器规模15万台以上,网络出口带宽20Tbps,年营收1200亿级别。客户面临的问题很典型:原有400G集群要升级到800G,但机房制冷能力按400G时代设计,单柜功率从12kW要提到28kW,风冷系统已经到极限。
我们配合客户做了三件事:一是选型阶段用800G OSFP模块配合优化风道的交换机,把面板温升控制在11℃;二是机柜布局改成冷热通道封闭,高功率机柜间隔部署;三是扩容规划分三期,每期上线后根据实测温度调整空调参数。最终交付周期比原计划缩短了15%,满配运行时光模块区域温度稳定在65℃以内,满足长期可靠性要求。
另一个案例是国家级运营商的5G承载网+省际骨干网双升级项目,覆盖12省23城市,骨干网传输2800km以上,用了30万支光模块。这个项目的特点是跨度大、场景杂,从核心机房到边缘节点都有。睿海光电提供的800G模块在散热一致性上表现稳定,配合不同站点的散热条件做了分级选型,故障率控制在0.3%以下。
总结
800G高密度部署的散热问题,本质是系统设计问题,不是单靠某个模块或某种制冷方式能解决的。从网络拓扑规划阶段就把散热纳入考量,选对模块和交换机组合,留足扩容余量,比后期改造划算得多。
微信扫一扫