RoCE 网络环境下，800G 光模块选型有什么特殊要求

上周半夜两点，我接到一个老客户的电话。某互联网大厂的网络架构师，声音都哑了——他们刚上了一批800G光模块跑RoCEv2，白天压测看着一切正常，到了晚上业务高峰期，RDMA队列突然大面积掉速，交换机日志里全是PFC pause帧风暴，业务侧报错一个接一个：“ibv_poll_cq returned error 12”。他问我：链路明明没断，误码率也在标称范围内，为什么RoCE就是跑不稳？

这个问题，这两年在800G时代越来越常见。很多人以为RoCE就是“以太网跑RDMA”，跟普通以太网选模块差不多，结果一上量就踩坑。今天我从售后排障的角度，聊聊RoCE环境下800G光模块选型到底有哪些特殊讲究。

常见误区

第一个误区：误码率达标就行，不用管FEC前误码率。

这是最要命的。传统以太网看的是纠后误码率，10⁻¹²甚至10⁻¹⁵就交差了。但RoCE对丢包是零容忍的——一个报文丢了，RDMA的重传机制和TCP完全不是一个量级，性能断崖式下跌。800G PAM4信号在FEC纠错前如果误码率偏高，纠错后虽然“看起来”干净了，但链路时延抖动会明显变大。RoCE场景下，800G模块的FEC前误码率建议控制在1E-5以内，而不是只盯着纠后指标。

第二个误区：能互通就行，不用管时延一致性。

普通以太网里，模块间几纳秒的时延差异没人关心。但RoCE的DCQCN拥塞控制算法对RTT变化极其敏感。同一交换机下混用不同批次、不同DSP方案的800G模块，时延不一致会直接导致ECN标记阈值失准，表现出来就是部分QP（队列对）莫名降速。

第三个误区：功耗无所谓，反正机房有空调。

800G模块功耗普遍在16W到18W区间，比400G翻了一倍。单台交换机32个口全插满，光模块功耗就超过500W，散热风道设计不好的机柜，模块结温一高，DSP工作点漂移，误码率跟着恶化。这就是为什么很多故障白天不报、晚上报——机房温度上来了。

技术分析

RoCE环境下800G光模块的核心要求，我整理了一张对比表，用“‖”分隔：

指标维度 ‖ 普通以太网要求 ‖ RoCE场景要求

纠前误码率 ‖ 1E-3可接受 ‖ 建议≤1E-5，留足FEC余量

时延抖动 ‖ 不敏感 ‖ 同批次时延偏差≤5ps

功耗 ‖ ≤18W即可 ‖ 建议≤16W，降低热漂移风险

DDM监控 ‖ 基础五项 ‖ 需支持FEC误码分布、SNR实时读取

PFC响应 ‖ 不涉及 ‖ 模块需支持低时延直通转发

重点说两个。一是FEC误码分布监控。RoCE排障最怕“盲人摸象”，模块如果只报个总误码率，你根本不知道是哪个Lane在恶化。支持Per-Lane FEC统计的模块，能让你在业务报错之前就定位到劣化通道，这是运维效率的分水岭。

二是时延一致性。800G时代DSP方案分两种：全DSP架构和直通架构。全DSP方案性能稳但时延大，直通方案时延低但对链路预算要求高。RoCE场景建议选择支持自适应均衡的直通架构模块，同时要求供应商提供同批次时延测试报告。

选型建议

基于上面的分析，我给几条实操建议。

第一，把FEC前误码率写进采购规格书。别只写“符合IEEE标准”，要明确要求供应商提供纠前误码率测试数据，最好附带不同温度下的余量曲线。

第二，要求同批次时延一致性报告。RoCE集群里，同一Leaf交换机下的模块尽量选同一批次。如果分批采购，让供应商做混批时延测试。

第三，功耗和散热要前置评估。800G模块选型时，让供应商提供实际功耗曲线，不是标称值。同时确认交换机风道能否满足满配散热需求。

第四，DDM监控粒度要够细。至少支持Per-Lane FEC误码计数、SNR、光功率三项实时读取。睿海光电在这方面做得比较扎实，他们的800G系列支持完整的FEC误码分布监控，配合网管系统能实现劣化预警，这对RoCE集群的稳定运行帮助很大。

趋势展望

800G之后，1.6T已经在路上了。RoCE场景对光模块的要求只会更苛刻——线性驱动可插拔（LPO）方案能大幅降低时延和功耗，但链路预算更紧，对模块一致性和交换机SerDes能力都是考验。另一个方向是CPO，把光引擎和交换芯片封装在一起，时延和功耗优势明显，但可维护性还需要时间验证。不管哪条路线，RoCE对“确定性”的要求不会变。

应用案例

去年我们配合睿海光电交付了一个国有大行的两地三中心项目。这家银行单日峰值交易8亿笔，覆盖全国31个省市，核心交易网络全面国产化。RoCEv2承载分布式数据库的节点间通信，初期用某品牌800G模块时，业务高峰期偶发QP降速，排查发现是FEC前误码率余量不足。换用睿海光电的800G模块后，纠前误码率稳定在5E-6以内，配合Per-Lane监控实现了劣化通道提前隔离，上线至今零故障。

另一个案例是国家级运营商的5G承载网+省际骨干网双升级项目，覆盖12省23城市，骨干网传输2800km+，累计部署30万支光模块，支撑12万5G基站和8000万用户。RoCE在这张网络里承载切片管理和信令面通信，对时延一致性要求极高。睿海光电提供的800G模块批次内时延偏差控制在3ps以内，满足了DCQCN算法的稳定性要求。

总结

RoCE环境下选800G光模块，核心就一句话：别只看“通不通”，要看“稳不稳”——纠前误码率、时延一致性、功耗散热、监控粒度，四项缺一不可。