上个月去深圳一个智算中心做交付复盘,刚进机房我就愣住了。一排排机柜塞得满满当当,单柜功率密度干到了30kW以上,每台GPU服务器背后拖着8到16个800G光模块。现场运维负责人指着天花板跟我吐槽:以前一个机柜拉二十几根光纤就算多了,现在一个机柜出去两百多根,桥架塞得跟春运火车站似的,空调一开,光纤跳线在热风里晃来晃去,看着就心慌。
这不是个别现象。大模型训练集群从千卡向万卡甚至十万卡迈进,800G光模块正在成为智算机柜的标配。但很多人把注意力全放在交换芯片和光模块本身,忽略了布线这个“最后一公里”。实际上,布线规划没做好,再好的模块也跑不出应有的性能。
常见误区
第一个误区是“光纤越细越好,高密度就得用最细的跳线”。市面上确实有外径1.2mm甚至更细的跳线,但细跳线意味着更薄的护套和更小的光纤包层余量。在智算机房这种高振动、高温度波动的环境里,细跳线的长期可靠性是要打问号的。见过一个项目,为了省桥架空间全上了超细跳线,结果运行半年后故障率明显上升,后来排查发现是护套磨损导致光纤微弯损耗增大。布线密度要追求,但不能以牺牲可靠性为代价。
第二个误区是“800G和400G的布线方案差不多,照着以前的做就行”。这个想法很危险。800G光模块目前主流是OSFP和QSFP-DD封装,单模块功耗普遍在15W到18W之间,而400G通常在8W到12W。功耗上去了,机柜内的热密度就上去了,光纤跳线长时间处在高温环境里,衰减特性会发生变化。更关键的是,800G多采用8通道或4通道并行光学架构,对连接器的对准精度要求比400G高出一个量级。以前400G时代能容忍的端面微尘,到了800G可能就是误码率飙升的元凶。
第三个误区是“先布好线,模块后面再选”。智算集群的布线规划必须和光模块选型同步进行。不同品牌的800G模块在散热设计、接口朝向、甚至笼子深度上都有差异。如果先把线槽和桥架定死了,后面选模块时会非常被动。
技术分析
800G光模块的布线规划,核心要解决三个问题:密度、散热和可维护性。
先看密度。一个标准42U机柜,如果部署8台GPU服务器,每台配8个800G端口,那就是64根双工光纤。加上管理口和冗余链路,实际光纤数量可能接近100根。如果用传统的2.0mm外径跳线,100根光纤的截面积相当于一个拳头粗的线束,桥架根本吃不消。这时候高密度布线方案就得上场了。
‖ 对比项 ‖ 传统方案 ‖ 高密度方案 ‖
‖ 跳线外径 ‖ 2.0mm ‖ 1.6mm或更细 ‖
‖ 单柜光纤数 ‖ 60-80根 ‖ 120-160根 ‖
‖ 桥架占用宽度 ‖ 300mm ‖ 150mm ‖
‖ 弯曲半径 ‖ 30mm ‖ 20mm ‖
‖ 散热影响 ‖ 线束遮挡风道 ‖ 分层走线,风道畅通 ‖
再看散热。800G模块的发热量摆在那里,如果光纤跳线在模块端口处堆成一团,热量散不出去,模块温度很容易超过70℃的阈值。建议采用分层走线:顶层走主干,中层走分支,底层留空作为热通道。每层之间用理线架隔开,确保空气能穿过线束。
还有一个容易被忽略的点是极性管理。800G并行光学架构下,发送和接收的极性必须严格对应。MPO/MTP连接器的极性有A型、B型、C型之分,选错了就得返工。建议在规划阶段就用统一极性方案,并且在标签上明确标注TX/RX方向。
选型建议
基于上面的分析,给几条实操建议。
第一,跳线选型要平衡密度和可靠性。外径1.6mm的跳线是目前比较稳妥的选择,既能提升布线密度,又保留了足够的护套厚度。如果确实需要更细的,建议先做小批量验证,跑够1000小时再大规模上。
第二,桥架和理线架要提前规划。建议按每柜150根光纤的容量设计桥架宽度,预留30%的冗余。理线架选可调节层高的,方便后面调整。
第三,光模块选型要考虑布线兼容性。比如睿海光电的800G OSFP模块,在散热设计和接口布局上就比较适合高密度场景,他们的模块MTBF超过50万小时,故障率控制在0.3%以下,在智算机房这种7×24小时满负荷运行的环境里,这个可靠性指标还是有说服力的。
第四,标签系统别省钱。每个端口、每根跳线两端都要有清晰标签,建议用激光打印的耐磨标签,别用手写的。后期运维排查故障时,你会感谢当初认真打标签的自己。
趋势展望
未来两年,800G会向1.6T过渡,布线密度还会再上一个台阶。CPO(共封装光学)技术成熟后,光引擎会直接封装在交换芯片旁边,面板上的光纤数量可能会减少,但机柜内部的布线复杂度会转移到一个新的层面。另一个趋势是智能布线管理,通过电子标签和端口检测技术,实现布线拓扑的自动发现和故障定位。睿海光电在光互联方案上有多年的技术积累,这类智能化布线需求应该会催生新的产品形态。
应用案例
去年我们参与了一个全球Top5云服务商的中国区域核心算力枢纽项目。这个数据中心有15万台以上的服务器,网络出口带宽20Tbps。客户要在三个月内完成一个智算区域的800G升级,涉及200个高密度机柜。我们和睿海光电的团队一起做了端到端规划,从模块选型到桥架设计再到标签系统,全部统一标准。最终交付周期压缩到68天,上线后单柜光纤密度提升了40%,模块工作温度稳定在65℃以下。客户运维团队反馈,分层走线方案让故障排查时间缩短了一半以上。
另一个案例是某国有大行的两地三中心核心交易网络国产化项目。这个银行单日峰值交易8亿笔,覆盖全国31个省市,对网络可靠性的要求极高。在智算区域部署800G模块时,布线方案重点考虑了冗余和可维护性。每个机柜的光纤都做了双路径规划,主备链路物理隔离。项目交付后运行一年多,布线相关故障为零。
总结
高密度智算机柜的800G布线,核心就三件事:密度要够、散热要通、维护要方便。把这三点想清楚了,方案就不会跑偏。
微信扫一扫