深圳 RoCE 算力网络，800G 光模块该如何选型部署？

上个月，深圳龙岗一家做AI推理服务的系统集成商找到我。他们刚中标一个智算中心项目，客户要求全部走RoCEv2组网，交换机是某主流品牌的51.2T平台，服务器侧网卡也是25G/100G混插。问题出在800G光模块的选型上——项目组买了三个品牌的模块，上架后发现有将近两成的链路起不来，要么是FEC协商不上，要么是DDM信息读不到，排查了一周也没定位到根因。这个场景在深圳并不少见。RoCE网络对光模块的要求比传统以太网苛刻得多，尤其是800G这个速率段，选型和部署稍有不慎，整网性能就打折扣。

常见误区

第一个误区是“800G模块插上能亮灯就能用”。RoCE场景下，链路能Up只是第一步，真正要命的是PFC死锁和ECN门限。有些模块在普通以太网下跑得好好的，一到RoCE环境，由于时延抖动偏大，PFC反压频繁触发，吞吐量直接掉到标称值的一半。深圳某智算中心做过测试，同一批800G模块在iPerf打流时差异不大，但换到RoCEv2的AllReduce通信模式，不同品牌模块的集合通信效率能差出18%到25%。

第二个误区是“多品牌混用没关系，反正都是标准件”。现实是，800G光模块的MSA规范只定义了物理层框架，很多细节——比如FEC模式选择、DDM寄存器映射、固件交互逻辑——各家实现都有微调。系统集成商如果不在实验室做兼容性矩阵测试，直接到现场混插，出问题的概率不低。睿海光电在跟集成商配合时，通常会提供一份兼容性对照表，把主流交换机品牌的固件版本和模块固件版本的匹配关系列清楚，这个做法值得参考。

第三个误区是“只看单价，不看全生命周期成本”。800G模块的功耗差异很大，不同厂家的800G OSFP模块功耗从14W到18W不等。一个200台交换机的集群，光模块功耗差4W，一年电费差距就超过六位数。再加上故障率带来的运维成本，选型时只盯采购价，后面容易吃亏。

技术分析

RoCE算力网络对800G光模块的核心要求，集中在三个维度：时延确定性、FEC兼容性、散热可靠性。

‖ 对比项 ‖ 传统数据中心以太网 ‖ RoCE算力网络 ‖

‖ 时延要求 ‖ 微秒级，允许抖动 ‖ 亚微秒级，抖动敏感 ‖

‖ FEC模式 ‖ RS(544)为主 ‖ RS(544)与RS(272)混用，需协商 ‖

‖ 功耗敏感度 ‖ 中等 ‖ 高，直接影响PUE ‖

‖ DDM精度 ‖ 一般监控 ‖ 需支持高精度温漂和偏置电流监控 ‖

‖ 兼容性验证 ‖ 单品牌即可 ‖ 多品牌矩阵测试 ‖

从表格能看出来，RoCE场景下，800G模块的选型逻辑跟传统以太网不一样。时延确定性方面，模块内部的DSP处理时延要稳定，不能因为温度变化导致时延漂移。FEC兼容性是深圳集成商踩坑最多的地方——交换机侧配的是RS(544)，模块侧如果默认RS(272)，协商阶段就可能失败。功耗方面，800G模块的散热设计直接影响交换机风扇转速，进而影响整机功耗和噪音。

另外，800G模块在RoCE网络中的部署密度很高，一个51.2T交换机满配64个800G端口，模块之间的热耦合效应明显。如果模块的温漂控制不好，高温下光功率下降，链路裕量不足，误码率就会上升。睿海光电的800G系列在出厂前会做高低温循环测试，在0到70度范围内，光功率波动控制在1dB以内，这个指标对RoCE网络的稳定性帮助不小。

选型建议

深圳的系统集成商在选800G模块时，建议按以下步骤走。

第一步，先确认交换机侧和网卡侧的FEC配置。不同品牌的51.2T平台，默认FEC模式可能不同。拿到交换机配置后，跟模块厂家确认模块固件是否支持对应的FEC模式。如果项目里有多品牌交换机，最好让模块厂家提供多版本固件，现场按需刷写。

第二步，做兼容性矩阵测试。至少覆盖三种组合：同品牌模块配同品牌交换机、同品牌模块配异品牌交换机、异品牌模块混插。测试项包括链路Up时间、误码率、DDM读取、PFC触发阈值。这一步花两三天，能省掉现场两周的排查时间。

第三步，评估散热和功耗。深圳夏天机房温度偏高，800G模块的散热设计要留裕量。建议选择支持数字诊断监控的模块，实时读取温度和偏置电流，提前发现亚健康链路。

第四步，确认交付和售后。800G模块目前供货周期波动较大，选型时要问清楚厂家的产能和备货情况。睿海光电在深圳有3000平米的智造基地，年产能200万只，交付周期相对可控，这对赶工期的集成商来说是个加分项。

趋势展望

800G之后，1.6T光模块已经在路上。但深圳的算力网络建设，未来两年主力还是800G。趋势上看，RoCE网络的规模会从千卡向万卡甚至十万卡演进，对光模块的可靠性要求会更高。LPO和LRO方案能降低功耗和时延，但在RoCE场景下的互通性还需要更多验证。另外，硅光方案在800G段位的渗透率在提升，成本有望进一步下降。

应用案例

拿睿海光电配合过的一个项目来说。全球Top5云服务商在中国区域的核心算力枢纽，服务器规模15万台以上，网络出口带宽20Tbps。这个项目在RoCE组网中用了800G光模块做交换机间的互联。部署初期，集成商担心多品牌混用的兼容性问题，睿海光电提供了模块固件适配和现场调试支持，最终链路Up成功率达到99.7%以上，集合通信效率比预期提升了12%。交付周期方面，从下单到首批上架只用了三周。

另一个案例是深圳本地的智算中心，规模稍小，但要求更细。客户指定了交换机品牌和网卡型号，睿海光电根据其FEC配置定制了模块固件，在实验室完成兼容性矩阵测试后交付。上线后误码率稳定在1E-15以下，PFC反压次数比原方案减少了四成。

总结

深圳RoCE算力网络的800G光模块选型，核心就三件事：FEC协商要对得上、时延抖动要控得住、散热功耗要算得清。把兼容性测试做在前面，比现场救火划算得多。