所属层：L2互连层 · 两级结构
《超节点专题》L2互连层第2篇（共25讲）
核心问题：超节点之间如何互连？两级域的带宽与时延梯度如何设计？
两级互连体系的关键，不在于能否将多个超节点连接起来，而在于如何在域内与域间维持合理的带宽、时延与成本梯度，并让通信流量按照模型并行需求在两级网络之间合理分布。
一、域内规模有上限，模型规模仍在增长
超节点07讲讨论了域内互连面临的物理约束：信号传输距离、功耗、连接器密度、布线复杂度与 PCB 信号完整性。这些约束共同决定，单个高带宽域无法仅靠增加加速卡数量而无限扩张。
与此同时，大模型的参数规模、专家数量与上下文长度仍在增长，训练集群也从千卡走向万卡乃至更大规模。以华为 Atlas 950 SuperCluster 为例，规模可达 52.4 万卡、524 EFLOPS（FP8）[31]。这类系统的规模已远超单个机柜级超节点，需要通过多个计算单元协同工作。
因此，系统需要在域内高速互连之外建立域间网络。域内与域间不是简单的两段线缆，而是面向不同通信需求的两级互连体系：域内优先保障高带宽、低时延与较强的通信确定性；域间优先保障大规模扩展、网络共享与成本可控。
华为 384 超节点测试验收白皮书展示了这种分工：超节点内部通过灵衢总线与全光互连实现全连接拓扑，为 NPU 提供对等互连能力；跨超节点则采用 400Gbps/NPU 的 RoCE 或更高带宽方案 [32]。同一套系统由此形成域内与域间两种不同的互连层级。
本篇重点回答四个问题：
- 域内与域间的带宽、时延梯度由什么决定？
- 两级网络如何衔接，集合通信如何跨层执行？
- 华为、海光与曙光、NVIDIA 三套系统分别采用什么两级互连方案？
- 域间网络在什么条件下会成为大规模训练的性能瓶颈？
二、两级网络之间的梯度由什么决定
2.1 带宽梯度：以约一个数量级作为工程参考
中兴在超节点技术白皮书中提出，原则上超节点内任意 GPU 之间的互连带宽约为机间互连的 8 倍，以降低通信开销、提高 MFU（模型 FLOPs 利用率）[10]。
这一比例反映的是两级网络的工程定位，而不是适用于所有系统的固定标准。域内互连需要为高频、强同步的通信提供充足带宽；域间网络则必须覆盖更多节点，并在交换设备、光模块、布线和功耗之间取得平衡。
以 NVIDIA NVL72 为例，NVLink 5 支持单 GPU 与 GPU 之间最高 1800GB/s 的互连带宽；域间出口则采用每颗 GPU 配置 1 个 1.6T 或 2 个 800G OSFP 笼口等方案 [12][22]。这些参数可以体现域内高速互连与域间网络出口的设计差异，但两者的统计口径并不完全一致，不能直接相除并据此验证固定的 8 倍关系。
真正需要维持的是有效带宽梯度，而不只是标称带宽之比。如果域间网络长期承载大量强同步流量，即使域内峰值带宽很高，训练性能仍可能受跨域通信限制。
2.2 流量梯度：并行策略决定通信放在哪里
不同模型并行策略产生的通信模式存在明显差异。两级网络的分工，应从通信频率、数据规模、同步方式和计算重叠能力出发，而不能简单地把某一种并行策略固定分配给某一级网络。
| 并行方式 |
典型通信模式 |
主要性能要求 |
跨域设计关注点 |
| 张量并行（TP） |
层内频繁集合通信 |
低时延、高带宽 |
通常优先限制在域内 |
| 专家并行（EP） |
Token 分发与 All-to-All |
高带宽、低拥塞 |
专家跨域分布可能显著放大通信开销 |
| 流水线并行（PP） |
阶段间传递激活值 |
稳定时延、足够带宽 |
需评估微批次流水线与跨域传输的重叠 |
| 数据并行（DP） |
梯度同步与规约 |
高聚合带宽、通信计算重叠 |
可采用分层规约降低跨域流量 |
TP 通常对通信时延较为敏感，因此常优先安排在域内；EP 的 All-to-All 可能同时对带宽、时延和拥塞敏感，当专家分布跨越多个超节点时，跨域成本可能很高。PP 属于点对点流水式通信，其敏感程度取决于阶段划分、微批次数量与流水线气泡；DP 梯度同步虽然通信量大，但在适当的分桶和调度下可以与反向计算重叠 [12][X08]。
因此，不能笼统地认为 DP 和 PP 天然适合域间、EP 和 TP 必然只能在域内。更准确的原则是：优先将高频、强同步、对时延敏感的通信局部化；对于必须跨域的通信，通过分层集合通信、通信计算重叠和合理的并行划分降低代价。
2.3 时延梯度：跨域传输会引入额外开销
域内高速互连与域间网络的时延通常不在同一量级，但具体差距取决于测量边界、协议栈、传输方式和系统负载。
例如，NVLink-C2C 用于 CPU 与 GPU 之间的高速互连，具有纳秒级链路访问特征 [22]；曙光 scaleFabric 资料则给出了网卡端到端时延低于 1μs 的指标 [15]。两者体现了不同互连层级的时延特点，但由于端点、协议和测量口径不同，不宜直接把它们作为严格可比的端到端时延数据。
对训练任务而言，真正影响性能的是通信是否进入关键路径。若某次跨域通信必须等待远端数据返回才能继续计算，额外的传输、协议处理和排队开销就可能转化为 GPU 等待时间；若通信能够与计算重叠，其影响则可能明显降低。
所以，域间网络的目标不是简单复制域内的纳秒级访问，而是在更大规模上提供足够的带宽、可控的时延和稳定的通信行为。
2.4 拓扑与收敛：域间必须兼顾规模和成本
域内网络通常优先保障任意加速卡之间的高带宽通信，部分架构通过专用交换芯片或高密度直连实现全连接或近似全带宽互连。域间网络需要覆盖更多超节点，通常采用分层交换、多路径路由等结构，并根据成本与业务需求设置不同的收敛比。
收敛比描述接入侧总带宽与上行侧总带宽之间的关系。收敛比越高，网络共享和成本效率可能越好，但多个节点同时产生大流量时，也越容易发生链路竞争和排队。
需要注意，域间网络并非必然存在过订阅。非阻塞 Clos 等架构可以为特定规模和流量条件提供较高的无阻塞能力，只是相应的交换容量、链路数量和成本也会增加。
因此，域间拓扑的核心权衡是：在目标规模和通信模式下，以可接受的设备投入和网络复杂度，满足所需的有效带宽与时延要求。
2.5 规模与运维：域间需要更强的故障隔离能力
域间网络覆盖的节点和链路数量通常远高于单个超节点。随着光模块、交换机和链路数量增长，故障检测、定位、绕行和恢复的复杂度也随之增加。
大规模域间网络不仅需要关注正常状态下的带宽与时延，还需要评估链路故障后的剩余带宽、路由收敛时间、拥塞扩散范围和训练任务恢复时间。
由此可见，两级网络的差异不仅体现在性能指标上，也体现在故障域、资源管理和运维方式上。
三、两级域如何衔接
图8-1：域内加速卡通过专用高速互连组成 Scale-up 域，域内流量经 SuperNIC 等网络接口进入域间 Scale-out 网络，多个超节点通过分层网络互连。
3.1 典型分界点：从域内互连进入网络接口
在许多 GPU 系统中，超级网卡（SuperNIC）是域内计算互连与域间网络之间的重要接口。
NVIDIA Vera Rubin NVL72 计算托盘给出了一个具体例子 [22]：
- Vera CPU 与 Rubin GPU：通过 NVLink-C2C 建立高速互连。
- Vera CPU 与 ConnectX-9：通过 PCIe Gen6 链路连接网络接口。
- ConnectX-9 与外部网络：通过 OSFP 等物理接口连接 800G 以太网或 InfiniBand 网络。
原文资料给出的 Vera CPU 至 CX-9 接口双向总带宽为 768GB/s，并列出了每颗 GPU 配置 1 个 1.6T 或 2 个 800G OSFP 笼口的方案 [22]。这些数据反映了计算侧、主机接口和网络出口之间的层次关系，但需要区分接口总带宽与实际可用网络吞吐：PCIe 链路、网卡端口、协议处理能力及系统配置都会影响最终的跨域通信能力。
超级网卡是理解两级互连的有效观察点，但不应将其视为所有架构都必须采用的唯一物理分界，具体边界取决于系统如何组织计算互连、I/O 通路和网络接口。
3.2 通信语义：从域内访问机制转向跨域消息交换
域内与域间不仅采用不同的链路和拓扑，也可能采用不同的访问模型。
域内：高带宽访问与统一编程模型。 部分超节点通过统一地址空间、硬件访问机制或专用互连协议，使软件能够更方便地访问域内其他处理器或加速卡的内存资源。全球计算联盟将全局统一内存地址空间和跨节点内存语义访问列为超节点的重要技术特征 [30]。
域间：消息传递与远程数据传输。 跨超节点通信通常通过网络接口、通信库和 RDMA 等机制完成，应用或通信运行时需要管理远程数据交换、缓冲区注册和同步等操作 [X05]。曙光 scaleFabric 资料将其描述为基于 RDMA 架构的自研 400G 无损高速网络 [15]。
不过，不能将两者绝对化为域内全部是内存语义、域间全部是消息语义。部分域内通信也使用显式消息传递；某些系统则可通过 RDMA 等机制实现远程内存访问。更重要的区别是：两级网络提供的访问能力、时延保证、地址管理和通信原语存在差异。
当通信跨越域边界时，软件栈需要根据目标网络的能力选择适当的通信方式，并处理远程数据传输和同步问题。域内的统一编程体验并不意味着跨域通信可以完全忽略网络层级。
3.3 集合通信：跨域前先局部聚合
两级互连最重要的软件优化之一，是让通信库感知拓扑，并按照域内与域间的能力差异拆分集合通信。
以跨多个超节点的 AllReduce 为例，可以采用以下逻辑：
- 域内规约：各超节点先对本域内的数据进行局部聚合。
- 跨域规约：通过域间网络交换各超节点的局部结果，完成跨域聚合。
- 域内分发：将最终结果分发回各域内参与设备。
分层执行的目的，是尽可能减少跨域网络需要承载的数据量和通信轮次。但具体实现不能一概而论：Ring AllReduce、树形规约、分层 AllReduce 和分层 Reduce-Scatter/All-Gather 在不同拓扑、消息大小和参与设备数量下，可能具有不同的性能表现。
对于 EP 的 All-to-All，也需要考虑跨域流量的分布。若能够让专家尽量局部化，或在域内先完成部分路由与数据整理，就可能降低跨域链路的压力；若专家被广泛分布在不同超节点，跨域流量仍可能成为主要瓶颈。
因此，通信库不仅要知道设备数量，还需要感知拓扑、出口带宽、路径能力和实际流量模式，才能决定如何划分通信阶段。
3.4 域间协议：RoCE 与 InfiniBand 等方案并存
域间网络常见的技术路线包括 RoCE 和 InfiniBand，也存在厂商自研的网络体系。不同路线在生态、硬件实现、拥塞控制、运维方式和成本方面各有取舍。
（1）RoCE。 华为 384 超节点测试验收白皮书提到，跨超节点采用 400Gbps/NPU RoCE 或更高带宽方案 [32]。RoCE 利用以太网承载 RDMA 通信，能够复用以太网生态，但大规模部署时需要关注拥塞控制、丢包处理、队列管理和端到端配置。
（2）InfiniBand。 NVIDIA ConnectX 系列网络接口支持 InfiniBand 相关产品路线；原文引用资料还列出了 CX-8 的单端口 800Gb/s InfiniBand 或双端口 400Gb/s 以太网配置 [22]。实际能力需以具体产品型号、软件栈与网络配置为准。
（3）自研网络体系。 曙光 scaleFabric 采用自研网络设备与软件体系，资料列出 112G SerDes IP、64Tbps 双向吞吐、低于 1μs 的网卡端到端时延，以及 400G 标准网卡等参数 [15]。
这些方案不能只按端口速率进行比较。真正决定训练效率的，还包括有效吞吐、拥塞条件下的尾时延、集合通信性能、故障恢复能力，以及通信库和训练框架的适配程度。RoCE、InfiniBand 及相关网络协议的具体差异，将在超节点14讲进一步讨论。
3.5 域间物理层：更长距离推动光互连发展
域间网络需要连接不同服务器、机柜乃至更大范围的超节点，因此对光互连的依赖通常更强。
从原文引用的产品资料看，相关技术覆盖 400G 网络、800G 网络，以及面向更高速率的交换机侧光电集成方案。例如，华为 384 超节点采用 400G 光模块构建其全光互连系统 [32]；NVIDIA 相关资料则描述了 Spectrum-6 与共封装光学（CPO）方向的技术布局 [12]。
这里需要区分三类指标：
- 端口速率：描述单个网络接口的标称能力。
- 交换容量：描述交换芯片或交换系统的总交换能力。
- 系统有效吞吐：描述特定拓扑、流量和协议条件下真正可用的传输能力。
三者并不等价：端口速率提高，不代表交换系统一定具有相同比例的有效吞吐提升；采用 CPO，也不意味着所有系统都必然获得更低的端到端时延。
随着 SerDes 速率提升，域间互连将继续向更高端口速率、更高光电集成度和更低单位带宽功耗演进，但具体路线仍取决于距离、成本、功耗与可维护性要求。
3.6 融合组网与独立组网：两级网络是否共用设备
两级互连还存在一个架构选择：域内与域间分别建设独立网络，还是通过统一设备和协议体系融合部署。
独立组网。 域内网络针对高带宽、低时延与特定拓扑优化，域间网络针对大规模扩展、多路径路由和故障隔离优化。两套网络可以分别设计，但设备、布线、管理和运维体系可能更加复杂。
融合组网。 域内与域间在一定程度上共用网络设备、物理层或协议体系，有利于统一运维和资源管理，但需要确保域内流量的时延、带宽与可靠性要求不会被域间流量显著影响。
中兴的技术白皮书对融合组网与独立组网进行了对比 [10]；NVIDIA 相关资料也讨论了 Scale-up 与 Scale-out 融合的发展方向 [12]。
两种方案并不存在脱离场景的绝对优劣。若域内与域间的通信需求差异明显，独立组网更容易分别优化；若物理层、交换设备与协议能力能够同时满足两类需求，融合组网则可能降低系统复杂度。判断依据应包括带宽梯度、时延目标、拥塞隔离能力、网络规模、设备成本和运维复杂度，而不能仅凭组网方式的名称作出结论。
图8-2 独立组网（左）：Scale-up 域内全互联与 Scale-out 分层网络各自建设；融合组网（右）：两级流量共用同一套 Leaf/Spine 设备。
3.7 域边界由互连能力决定，不由机柜数量决定
判断一段互连属于域内还是域间，不能只看设备是否跨越机箱或机柜。更可靠的判断依据包括：
| 判断维度 |
域内互连的典型目标 |
域间互连的典型目标 |
| 带宽与时延 |
高带宽、低时延 |
面向大规模扩展，控制拥塞与尾时延 |
| 拓扑 |
高带宽直连或交换域 |
分层交换、多路径与路由 |
| 访问模型 |
可提供统一编址或高效远程访问能力 |
以跨域数据交换与消息传递为主 |
| 扩展方式 |
受端口、功耗、布线和交换容量约束 |
通过网络层级扩展覆盖范围 |
| 故障管理 |
聚焦域内连通性与局部恢复 |
聚焦多路径、故障隔离和大规模恢复 |
中兴资料提出，单体超节点可以向更大规模的集群超节点扩展，例如从 128 单体扩展到 8192 规模，并将其视为 Scale-up 域的扩展方向 [10]。这一案例说明，物理上跨越多个机柜并不必然意味着进入独立的域间网络。
域边界最终取决于互连能力与访问模型，而不是机柜边界。
四、三套系统的两级互连方案
4.1 华为：384 超节点与 RoCE 跨域互连
华为 384 超节点采用灵衢总线与全光互连构建域内全连接拓扑，为 384 颗昇腾 NPU 提供对等互连能力。原文引用的验收资料列出 3168 根光纤和 6912 个 400G 光模块，并指出跨超节点采用 400Gbps/NPU RoCE 或更高带宽方案 [32]。
这套设计体现了两级网络的分工：域内依靠专用互连体系和高密度物理连接支持大规模 NPU 协同；域间通过 RoCE 等网络技术连接多个超节点。
不过，光纤数量和光模块数量本身不能直接代表有效带宽或训练效率，评估实际性能时还需结合链路配置、拓扑、通信模式、拥塞条件与测试结果。
4.2 海光与曙光：芯片级互连与 scaleFabric 协同
原文引用的资料将海光与曙光的互连体系描述为从芯片内到系统间的全栈协同：芯片级采用 Chiplet 互连、ComboPHY 高速 I/O 接口与 HSL 等技术；系统级则由曙光 scaleFabric 承担高速网络连接 [15]。
scaleFabric 资料列出的参数包括自研 112G SerDes IP、64Tbps 双向吞吐、低于 1μs 的网卡端到端时延，以及液冷、风冷交换机和 400G 标准网卡等产品形态 [15]。
这一方案的特点是将芯片级互连与跨节点网络结合起来，并通过固件、驱动和集中式管理平台实现系统级运维。比较时仍需区分芯片接口速率、交换机容量和网卡端到端时延，不能将不同层级的指标直接等同。
4.3 NVIDIA：NVLink 域与 ConnectX/Spectrum 网络
NVIDIA 方案以 NVLink 与 NVSwitch 构建 GPU 之间的高带宽 Scale-up 域，并通过 ConnectX 系列 SuperNIC 及 Spectrum 系列网络设备连接域外系统。
原文引用资料列出了 NVLink 5 单 GPU 互连带宽 1800GB/s，以及下一代 NVLink 6 相关带宽提升方向 [12]；网络侧则包括 ConnectX-9、Spectrum-6 及相应 OSFP 接口配置 [22]。
这种设计将 GPU 域内互连与面向外部网络的连接能力分别优化，其关键不只是提高单个接口的速率，而是使计算托盘、交换系统、网络接口和通信软件能够共同满足训练任务的通信需求。
需要注意，域内 NVLink 带宽、SuperNIC 端口速率和外部交换网络容量属于不同统计口径，比较时应分别列出，而不是合并为一个整机互连带宽。
4.4 三套方案的共同点与差异
| 系统 |
域内互连 |
域间互连 |
主要设计重点 |
| 华为 384 超节点 |
灵衢与全光互连 |
400Gbps/NPU RoCE 或更高带宽方案 |
大规模 NPU 协同与光互连集成 |
| 海光与曙光 |
芯片级互连及系统内高速连接 |
scaleFabric 网络 |
芯片级到系统级的互连协同 |
| NVIDIA |
NVLink 与 NVSwitch |
ConnectX SuperNIC 与 Spectrum 网络 |
高带宽 GPU 域与外部网络协同 |
这三套系统的共同点，是均需要同时解决域内高带宽协同与域间规模扩展；差异则体现在专用互连、光电实现、网络协议和系统集成方式上。
在没有统一测试环境的情况下，不宜仅凭产品参数判断哪套方案的整体性能更高。更有意义的比较应统一模型、并行策略、卡数、消息大小、通信模式和故障条件，再测量训练吞吐、MFU、跨域通信占比和故障恢复时间。
五、域间互连成为瓶颈的条件
域间网络并非只有带宽不足才会成为瓶颈。对大规模训练而言，拓扑、流量、协议、故障和资源配置都可能使跨域通信进入关键路径。
5.1 EP 的 All-to-All 跨域流量过大
当大量专家分布在不同超节点时，Token 分发与回传会产生显著的跨域 All-to-All 流量。如果域间网络存在收敛或热点链路，通信时间可能明显增加。优化方向包括调整专家布局、提高流量局部性、改善路径负载均衡，以及在适用场景下采用分层通信策略。
5.2 TP 跨域导致同步开销增加
TP 通常涉及层内频繁的同步与集合通信。若并行划分将 TP 组拆到多个超节点，额外的网络时延、协议处理和排队可能反复进入训练关键路径。因此，TP 组通常优先安排在同一高带宽域内；当模型规模或显存容量要求必须跨域时，则需要通过拓扑感知的并行规划和通信优化评估额外代价。
5.3 收敛与拥塞导致有效带宽下降
域间网络的标称端口速率并不等于训练任务可持续获得的有效带宽。当多个超节点同时向相同上行链路发送大流量时，可能出现排队、拥塞和尾时延上升。RoCE 网络需要关注 PFC、ECN、DCQCN 等机制的配置与协同 [X05]，这些机制的作用是改善特定网络条件下的流量控制和拥塞行为，但具体效果仍取决于拓扑、负载、缓冲配置和端到端实现。
5.4 域间带宽与通信需求不匹配
域间带宽过低时，跨域同步可能成为固定开销，使 GPU 等待通信完成；但单纯提升域间带宽，也可能带来更高的交换设备、光模块、功耗和布线成本。
因此，域间出口应依据目标模型的通信矩阵和并行配置设计，而不是简单按 GPU 数量等比例配置。8 倍带宽梯度可作为初始工程参考，但最终仍应通过训练负载测试验证。
5.5 两级通信库未能协同优化
如果通信库无法感知域内与域间拓扑，可能把本可在域内完成的聚合或数据交换放到域间执行，从而增加跨域流量。
通过拓扑感知的通信分组、分层集合通信、通信计算重叠和出口负载均衡，可以减少不必要的跨域数据传输。优化效果取决于具体算法、消息大小和系统拓扑，不宜预设所有集合通信都能按固定倍数加速。
5.6 故障与恢复造成有效吞吐下降
域间网络中的链路、光模块或交换设备故障，可能引发路径切换、拥塞扩散或通信中断。对于大规模训练集群，即使单个器件的故障概率较低，庞大的器件数量也会增加系统运维压力。
因此，域间网络需要同时评估正常状态下的吞吐与时延，以及故障后的剩余带宽、路由收敛、故障隔离和训练恢复时间。相关运维体系可结合 ODCC《ETH-X 以太超节点系统运维规范》等资料进一步展开 [04]，详见超节点23讲。
5.7 融合组网是否合适，取决于两级需求能否兼容
如果域内与域间在带宽、时延和通信语义方面仍存在明显差异，融合组网就需要解决流量隔离、资源竞争和不同服务等级之间的协调问题；独立组网能够分别优化两级网络，但可能增加设备与运维复杂度。
随着互连技术演进，两级网络之间的能力差距可能发生变化，融合与独立组网也可能出现更多中间形态。选择时应根据真实负载、成本、可靠性与运维能力进行权衡，而不是把某一种组网方式视为必然趋势。
六、结束语
域间互连解决的不是简单的设备连接问题，而是如何在更大规模上延续域内高效协同计算的能力。
域内网络以高带宽、低时延和高效访问为主要目标；域间网络则通过分层拓扑、多路径传输和网络协议，将多个超节点连接成更大规模的训练系统。两者之间需要保持合理的带宽与时延梯度，并由通信库根据拓扑和模型并行策略协调跨层流量。
华为 384 超节点、海光与曙光 scaleFabric、NVIDIA NVLink 与 ConnectX/Spectrum 等方案，体现了不同厂商对专用互连、光电实现、网络协议和系统集成的不同选择，其实际表现需要在统一负载与测试条件下进行比较。
两级互连体系的核心，是让最需要低时延的通信尽可能局部化，让必须跨域的通信获得足够的有效带宽，并让网络扩展成本与训练收益保持平衡。
至此，超节点系列从域内互连延伸到域间网络。下一篇将进入域内互连协议，首先讨论 NVLink 与 NVSwitch：它们如何定义链路、事务与交换机制，又如何支撑 GPU 之间的高带宽协同计算。
发表于 2 小时前
|
查看: 4|
回复: 0
