在面向大规模AI训练等任务的分布式超级计算数据中心中，构建一个高性能、高可靠的无损网络绝非易事。这需要将一系列先进技术深度集成到从IP网络到光传输的各个层面，以满足远距离、超高带宽、灵活扩展与智能运维的严苛需求。下面，我们就来深入探讨实现这一目标的九种关键技术。
一、优化异构网络中的集体通信
在带宽和延迟不对称的异构网络中，尤其是在长距离链路上，传统的集体通信算法可能不再高效。同构网络中流量对称，每个节点负载均衡；但在异构环境下，必须进行调整，例如尽量减少长距离链路上的数据传输，以降低拥塞风险。
超级计算中的通信模式多为集体式，常见的操作包括 AllGather 和 AllReduce。
- AllGather：每个服务器向所有其他服务器传输独特的数据部分。
- AllReduce：每个服务器向所有其他服务器传输类似的数据，并执行跨节点的聚合操作（如求和、求最大值）。
常用的算法有简单的环形算法和更高效的倍减半（HD）算法。但它们都假设网络是同构的，即每个节点的发送和接收特性相同。
在长距分布式环境中，网络通常是异构的，GPU跨距通信的延迟远高于单数据中心内部。这使得传统算法不再是最优选择。下表比较了这些算法在长距通信中的性能，其中 S 表示通信数据量，N 表示参与集体通信的 GPU 数量。
为了优化长距异构网络中的通信，一种新的框架对集体操作进行了定制：
- 步骤1：将每个分布式数据中心 (DC) 视为独立子系统，使用 Ring 或 HD 等算法执行本地集体操作。
- 步骤2：本地同步完成后，由指定的代表服务器（少于 N/2 个）负责数据中心间的同步。每个代表发送 S/K 的数据量（K 为代表服务器数量），实现跨网络的 K 点双向通信。
之后，每个代表在本地聚合接收到的数据，再将结果分发回各自的数据中心。该框架通过最小化数据中心间的流量，仅跨距离发送必要的数据，实现了高效的跨数据中心 AllReduce。
针对跨度100公里、数据量S=1 GB的AllReduce操作的仿真表明，新算法的性能优于传统Ring算法，随着系统规模扩大，性能提升幅度从5%到60%不等。该方法仅需一次跨距通信并优化数据传输，即可达到接近理论最优的性能。
在实际部署中，集成网络设备以广播拓扑信息至关重要。设备持续监测链路距离，构建并维护拓扑图，并通过控制器分发给每个服务器的集体通信库。在每次集体操作时，通信库利用该拓扑图和搜索算法，根据源和目标的距离找到最高效的通信路径。
二、网络负载均衡技术
在超级计算环境中，网络负载均衡是缓解同构且无故障网络中拥塞和丢包的关键。这里的“同构”指带宽和延迟均匀，“无故障”指无硬件故障。负载均衡能将流量均匀分配到各可用路径，减少冲突，提升效率。
如上图所示，网络级负载均衡可以预先分配流量，在所有路径上实现均衡，避免拥塞。网络设备收集流量数据并上报给控制器。控制器结合网络拓扑，运行全局路由算法，为每个数据流分配最优路径，再将路由信息下发回设备进行精确调整，从而确保网络性能顺畅。
三、优先流量控制 (PFC) 技术
PFC 包括两种方法：PFC 1.0 适用于交换网络；PFC 2.0 是增强型解决方案，用于协调多个AI计算中心的交换机和路由器。
PFC 1.0：适用于交换网络
PFC 1.0旨在防止因网络问题导致的丢包造成AI工作负载性能下降。虽然负载均衡在正常情况下有效，但光收发器故障、长距链路丢包、服务器端拥塞等意外情况会带来独特挑战。
网络故障会导致吞吐量下降和拥塞。在数据中心内部，反馈时间短，可通过标准流控快速缓解。但在长距链路中，较长的反馈时间和有限的缓冲区容量极易导致丢包。
基于交换机的PFC将不可避免的长距链路拥塞转移至初始网络设备跃点。设备监控队列累积和端口反压来检测拥塞。当拥塞影响下游节点时，设备会通知第一跃点（源叶交换机）启动流量调节。根据拥塞强度，叶交换机会发送PFC、CNP等控制协议包来限速受影响的流量。
在大型AI模型训练中，数据流呈现周期性拥塞模式。基于此，源叶交换机可维护一个记录表，标记哪些流发生过拥塞。这使得可以对反复出现的拥塞流立即限速，避免因远程通知造成的延迟，从而在后续周期实现无损传输。
PFC 2.0：针对多中心AI系统进行增强
在跨超级计算数据中心协同训练期间，任何节点或链路的拥塞或故障都会被距离放大反馈延迟。交换机和路由器在PFC 2.0下协同工作，以应对突发拥塞，并在长时间故障期间保持性能。流级背压可缓解拥塞传播，显著提高吞吐量。
与传统PFC相比，基于路由器的PFC将控制层级从端口级提升到流级，解决了队头阻塞、反压风暴和死锁等问题。它利用IP数据报作为流标识符，独立监控和调整流量，最小化拥塞和故障影响。
在数据中心间场景中，基于路由器的PFC采用基于流的控制和精确的缓冲区调度，实现无损长距数据传输。在长期故障场景下，它能精准调节流量，最大限度地减少丢包，即使在限速条件下也能实现接近最优的带宽利用率。
针对数据中心动态工作负载，基于路由器的PFC提供高度灵活性和智能性，能根据实时网络状况动态调整流控策略，确保流级别的独立速率控制和精确反压，有效应对流量激增并隔离故障，稳定网络运行。
四、光收发器信道弹性技术
设备间的网络或光收发器故障会中断训练。据估计，400G/200G光收发器的年故障率约为4‰至6‰。在大规模AI集群中，每年约发生60次故障（平均每六天一次），这带来了重大挑战。
据称，超过90%的光收发器故障由激光器问题引起。短距200GE/400GE SR收发器使用四个通道，单个激光器故障就可能中断整个链路。通道容错技术通过在单个通道故障时减少模块内的活动通道数量来缓解此问题，从而保持训练的连续性。
除了弹性设计，选择低误码率的高性能光收发器对于最小化链路中断时间、提高系统可靠性也至关重要。
五、流量监控和丢包检测技术
在基于RoCE的网络中，数据包丢失会显著影响训练性能。为确保本地和长距链路的通信质量，需要进行全面的流采样和实时RoCE流量监控。管理员必须及时检测丢包（包括其精确位置、数量和时间），以评估影响并高效解决问题。
流量监控和丢包检测的主要特点包括：
- 快速故障定位：实时监控可立即检测延迟和丢包。
- 流路径可视化：实现集中式网络管理。
在分布式AI计算中心，长距互连需要指定的入口、传输和出口点来管理流量统计。计算接入叶交换机充当入口和出口点，而脊交换机和数据中心互连叶交换机则充当传输节点。
- 入口：标记流量特征，并将数据报告给分析器。
- 传输：跟踪入口处标记的数据并将其转发给分析器。
- 出口：测量出口流量并移除标签，将结果提供给分析器。
丢包率和延迟是衡量数据流可靠性的关键指标：
- 丢包率：以监测期内传入与传出流量之差计算。
- 延迟：测量数据包进入和离开两个节点所需的时间。
六、高带宽传输技术
提高单端口速率对于AI互连网络中高效、经济的数据传输至关重要。目前，800Gbps中程端口技术已相当成熟，并已部署在AI计算网络中，支持长达100公里的连接。未来的发展目标是实现1.2Tbps的端口速率，以降低每比特传输成本。
随着传输技术从单波长400Gbps向800Gbps乃至1.2Tbps发展，每个信号所使用的频谱宽度也随之增加。为最大化单根光纤容量，业界正从传统的C波段扩展到L波段，形成可支持高达96Tbps传输速率的C+L组合波段，以满足AI计算中心之间日益增长的数据需求。
七、波长级动态重构技术
在分布式计算中心，资源常以分时方式租赁。因此，基于可用GPU的计算中心之间需要灵活的波长级互连，带宽需根据延迟和距离等因素动态调整。为满足这些需求，光传输网络必须具备波长级可重构性（也称电光技术）。
光电技术主要有两种应用场景：
- 波长级重构：动态调整波长层。
- ODU级重配置：动态调整电气交叉连接层和波长层。
根据服务需求（如源/目标点、路由策略、保护级别），光电技术提供以下功能：
- 跨层路由协调：自动计算满足延迟和路由分离等约束的最佳光通道路径。
- 光电交叉链路创建：自动生成配置参数，如客户端到光通道的映射、波长频率、光纤映射等。
- 自动化测试和调优：执行跨层路由和自动化测试，以确保最佳性能。
八、高性能波长交换光网络 (WSON) 技术
传统的WSON重路由时间可能长达数秒到数分钟，这可能导致大规模计算中断。改进WSON对于快速、确定性的光层恢复至关重要。在现代OTN中，电层SNCP保护可提供50毫秒的保护，但需要大量资源。为优化AI工作负载，WSON的50毫秒保护可在保持可靠性的同时减少资源消耗。
WSON 50ms技术的关键组成部分包括：
- 控制平面与数据平面分离：将路径计算、资源分配和路径建立解耦，确保仅执行必要的重路由任务。
- 共享资源路由算法：全局优化网络资源，实现共享、无冲突的资源恢复。
- 高速数据包转发：使用专用芯片进行快速转发，减少对CPU的依赖和路由跳数。
- WSS快速切换：通过LCOS技术实现毫秒级波长切换，可在50ms内实现多重故障恢复。
九、报警压缩和根本原因识别技术
在AI模型训练中，10分钟内恢复故障对于防止长时间中断至关重要。随着OTN网络规模扩大，在统一的网络管理系统下管理网元变得复杂，对传统故障处理方法提出挑战。告警过载、根因分析复杂等问题会影响业务连续性，因此需要智能化运维。
为简化故障管理，采用两种核心解决方案：
- 智能故障检测与识别：网元利用集成模块分析和报告告警关系，生成实时故障传播图。这些图综合告警流、网络拓扑和保护配置，以便快速定位根本原因。
- 高级性能裕量评估：为确保稳定的上下路操作，数字建模预测每个波长的运行可行性，从而防止服务中断。传输质量模型和算法评估光信噪比裕量的变化，有助于故障边界定位并评估系统容量，实现实时故障检测。
通过智能推理，告警压缩可减少告警数量，加快故障定位。精确的裕量评估还能提前进行光信噪比评估，以便进行运行调整，降低业务中断风险。
以上九大关键技术，共同构成了支撑下一代分布式超级计算数据中心无损网络的基石。从算法优化到硬件弹性，从流量控制到智能运维，每一项都针对AI训练等高要求场景中的痛点进行了深度优化。对于从事后端与架构或网络系统设计的工程师而言，理解这些技术趋势至关重要。随着AI与智能计算的持续演进，网络基础设施的创新也将不断加速。欢迎在云栈社区交流更多关于高性能计算与网络技术的实践与思考。
发表于 4 小时前
|
查看: 2|
回复: 0
