算力集群上下行带宽配比，如何搭配 800G 光模块？

上周跟一个做智算中心的朋友吃饭，他劈头就问：“我们新建的千卡集群，下行带宽到底该配多少？现在800G模块这么贵，全配上行链路预算扛不住，配少了又怕训练跑不满。”这问题其实挺典型——很多人在规划算力集群网络时，习惯性把上行和下行当成对称管道来设计，结果要么带宽浪费，要么GPU利用率上不去。

常见误区

第一个误区是“上下行必须对等”。传统数据中心东西向流量确实比较对称，但AI训练集群完全不是这回事。以典型的大模型训练为例，参数服务器架构下，worker节点上行发送梯度、下行接收更新后的参数，比例通常在1:1到1:2之间波动。而到了推理场景，下行带宽需求往往是上行的3到5倍——用户请求包很小，但返回的推理结果可能是一整段文本或图像。所以上下行带宽配比没有万能公式，得看业务类型。

第二个误区是“800G模块只能用在汇聚层”。实际上800G DR8和2xFR4已经大量出现在TOR交换机上，直接对接GPU服务器的CX7网卡。很多人以为800G太贵，其实按每Gbps成本算，800G模块的每比特成本比400G低约20%到30%，功耗也从400G时代的10W左右降到了8W以内。睿海光电去年交付的某个智算项目中，TOR层就用了800G DR8，整体TCO反而比400G方案低了一截。

第三个误区是“下行带宽可以靠缓存扛”。训练任务里all-reduce操作的同步特性决定了，如果下行链路出现拥塞，整个集群的迭代周期会被拖慢。缓存只能平滑突发，解决不了持续带宽缺口。

技术分析

要搞清楚配比，先得看流量模型。AI训练集群的通信主要分三类：数据加载、梯度同步、参数广播。数据加载基本是下行主导，梯度同步是上下行对称，参数广播是下行主导。综合下来，训练集群的上下行带宽配比建议在1:1.5到1:2之间，推理集群则建议1:3到1:5。

下面这张对比表能看得更清楚：

‖ 场景类型 ‖ 上行带宽占比 ‖ 下行带宽占比 ‖ 800G模块典型配置 ‖

‖ 大模型训练 ‖ 40%到50% ‖ 50%到60% ‖ 上行400G、下行800G混插 ‖

‖ 推理服务 ‖ 20%到25% ‖ 75%到80% ‖ 上行400G、下行2x800G ‖

‖ 混合负载 ‖ 35%到45% ‖ 55%到65% ‖ 全800G对称配置 ‖

从端口密度看，800G QSFP-DD封装和400G QSFP112在面板上占位差不多，但带宽翻倍。这意味着同样的交换机槽位，用800G能省下一半的布线数量。以32端口800G交换机为例，单机可提供25.6T交换容量，比64端口400G方案节省了约40%的机柜空间。

选型建议

实操层面，我一般建议分三步走。第一步先算收敛比。如果集群规模在千卡以内，上下行收敛比可以放到1:2.5；超过五千卡，建议压到1:1.5以内，否则梯度同步的尾延迟会很难看。第二步看网卡能力。现在主流GPU服务器配的是CX7 400G网卡，如果直接上800G模块，得确认网卡支持breakout模式，否则端口跑不满。第三步考虑混插策略。上行用400G、下行用800G，通过交换机侧的动态缓冲来吸收不对称流量。睿海光电的800G 2xFR4模块支持双400G breakout，正好适配这种混插场景，而且MTBF超过50万小时，故障率控制在0.3%以下，对于动辄上千模块的集群来说，这个可靠性指标能省不少运维精力。

另外提醒一点，别忽略光纤极性。800G DR8用MPO-16 APC接口，跟400G DR4的MPO-12不兼容，规划布线时得提前预留。

趋势展望

接下来两年，1.6T模块会逐步上量，但800G的生命周期至少还有三到五年。CPO和LPO方案也在成熟，LPO能把800G模块功耗再降30%左右，不过互操作性还在完善。对于大多数智算中心来说，800G DR8和2xFR4仍是未来三年的主力选择。带宽配比方面，随着NVLink和UALink这类GPU互联协议普及，节点内带宽会进一步膨胀，节点间上下行不对称性可能反而缩小。

应用案例

去年睿海光电交付了一个全球Top10汽车零部件巨头的网络标准化项目。这家企业服务特斯拉、宝马、比亚迪，在三大洲有12个生产基地、30个研发中心、10个区域物流中心，员工超过8万人。他们的痛点很典型：各地工厂的研发集群规模不一，有的用400G，有的用800G，上下行配比五花八门，导致跨站点模型同步经常超时。

我们给出的方案是统一采用800G DR8模块做下行、400G DR4做上行，收敛比控制在1:2。部署覆盖全球50多个站点，交付周期压缩到6周。上线后跨站点梯度同步时间从原来的平均45秒降到了18秒，整体训练效率提升了约35%。这个案例说明，上下行配比不是拍脑袋定的，得结合业务流量模型和模块选型一起算账。

总结

算力集群的上下行带宽配比没有标准答案，训练看梯度同步、推理看结果回传，800G模块的选型要跟着流量方向走，别为了对称而对称。