在超大规模 AI 训练集群中,模型迭代效率不仅取决于单颗 GPU 的峰值算力,也取决于底层互连网络能否稳定、确定地传输数据。传统公有云环境可以容忍 P95 或 P99 的长尾延迟,但在前沿大模型的同步训练中,微小的网络拥塞、路由静默丢包或哈希冲突,都可能拖慢最滞后的计算节点,进而影响整个集群的运行效率。
在发布时间标注为 2026 年 11 月 18 日的 @Scale Podcast 节目中,OpenAI 网络架构师 Jitendra “Jitu” Padhye 结合在 AT&T、微软研究院、Azure 和 OpenAI 的工作经历,回顾了数据中心网络从通用云计算向 AI 算力基础设施的演进。
他介绍了 OpenAI 如何应对 InfiniBand 的扩展瓶颈,以及基于以太网的多路径可靠连接(MRC)、数据包喷洒(Packet Spraying)和数据包裁剪(Packet Trimming)机制。他还讨论了 SRv6 源路由、Cluster Mapper 工具链与静默硬件故障定位,以及科研实验室、公有云和 AI 训练环境之间的工程文化差异。

关键信息
OpenAI 认为,大模型训练网络追求的不只是较低的平均延迟,还要关注 P100 意义上的确定性。其方案结合多路径喷洒、包裁剪、SRv6 源路由和确定性探测,在端到端可控的集群中绕行并定位网络故障。
一、为什么要重新设计训练网络
- 木桶效应:同步训练速度受最慢的 GPU 和最慢的一次传输影响。用访谈中的说法,训练网络关注的不只是 P99,还有 P100。
- RoCE 和 InfiniBand 的局限:RoCE 面临 ECMP 哈希冲突,对数据包顺序和无损网络有较高要求;InfiniBand 则面临规模扩展方面的挑战。
- 演进路径:先在跨数据中心的 Scale-across 场景试用 RoCE,再考虑在数据中心内部的 Scale-out 网络中替代 InfiniBand。
二、MRC 的四个关键机制
- 数据包喷洒:将同一次传输的数据包分散到多条路径,降低局部热点。代价是数据包可能乱序,因此不能简单地把重复 ACK 或 SACK 空洞当作丢包依据。
- 数据包裁剪:交换机达到裁剪条件时,剥离数据包载荷并转发包头。接收端网卡据此发送 NACK,请求发送端重传。裁剪也提供了拥塞信号,发送端可以更换路径选择值(PS)并降低发送速率。
- SRv6 源路由:由发送端指定路径,减少对 ECMP 随机哈希和动态 BGP 收敛的依赖。这一选择以集群端到端可控为前提。
- 路径淘汰与探测:路径出现丢包时,MRC 弃用对应的 PS 值,将流量切换到其他路径,之后再探测故障路径是否恢复。
三、可观测性与故障定位
训练网络需要针对不同丢包来源采取分层防御:
| 丢包来源 |
应对方式 |
| 拥塞 |
数据包喷洒、裁剪和 ECN;Azure 时代使用 PFC |
| CRC 错误或物理链路劣化 |
严格的光模块采购与质检 |
| 静默故障,例如缓冲区数据损坏 |
确定性探测 |
在传统 ECMP 网络中,探测流量的具体路径可能随哈希或网络状态变化。采用 SRv6 后,探测工具可以向指定路径发送数据,从而帮助定位故障链路或设备。
OpenAI 的配套工具包括 Cluster Mapper、维护期间屏蔽路径的黑名单(Deny List)、SRv6 配置校验器,以及通过合成流量验证主机拓扑地址文件的自动化工具。Padhye 认为,这套工具链的重要性不亚于协议本身。
他还介绍了一次案例:团队定位到一台路由器,特定大小的数据包进入其缓冲区后会发生损坏。MRC 自动绕开了受影响路径,团队随后将证据提交给设备厂商。
四、工程经验与演进方向
Padhye 在 Azure 参与将存储后端迁移到 RoCE,以减少 TCP 协议栈占用的 CPU 资源。他从生产环境中认识到,丢包、CRC 错误和静默故障都需要专门处理,不能只依赖理想化的研究模型。
OpenAI 与英伟达、AMD、博通等厂商并行合作,提供真实训练负载和问题复现环境,再由厂商定位问题并迭代固件。Padhye 认为,多厂商协作也有助于避免协议过度依赖单一厂商的私有方案。
后续方向包括提高网络速率、扩大 Fabric 规模、将 MRC 理念延伸至 Scale-across,并将 800G 以太网的经验用于 NVIDIA Vera Rubin 集群。他预计 MRC 规范还会继续迭代。
在物理约束方面,Padhye 认为,大规模训练的同步问题可以从网络技术层面解决,但电力与物理空间可能更早成为集群扩张的限制。
五、部署与硬件进展
根据节目中的介绍:
- MRC 已部署在 OpenAI 最大的一批 NVIDIA GB200 超算上,包括 Abilene 的 OCI 站点和微软 Fairwater,并用于训练多个 OpenAI 模型;规范已通过 OCP 开放。
- OpenAI 表示,采用这种架构时,使用 512 端口的交换机,仅用两层网络便可连接约 13.1 万块 GPU。
- MRC 不依赖 PFC 构建无损网络,而是假定丢包可能发生,通过选择性确认、显式重传请求和包裁剪处理。
- MRC 采用多平面设计,可将一块 800G 网卡的带宽分配到多个独立的以太网平面。
- 英伟达 ConnectX-8、AMD Pollara/Vulcano 和博通 Thor Ultra 网卡已集成 MRC。
目录
- 职业历程:从 AT&T、微软研究院到 Azure 与 OpenAI
- 从存储网络到 AI 集群:RoCE 与 MRC 的技术演进
- 可靠传输:静默故障、数据包裁剪与确定性遥测
- 工程文化与迭代速度:科研实验室、公有云与前沿 AI
- 快问快答:AI 工具、未来瓶颈与 MRC 演进路线
1. 职业历程:从 AT&T、微软研究院到 Azure 与 OpenAI
主持人:你从攻读博士学位、加入微软研究院,最终来到 OpenAI。能回顾一下这段经历吗?
Jitendra Padhye:毕业时正值互联网泡沫顶峰,我在伯克利的 AT&T ACIRI 工作了两年,遇到了 Mark Handley、Scott Shenker、Sally Floyd 和 Vern Paxson 等导师。之后,我希望找一份更贴近产业的工作,于是加入微软研究院,延续了此前的研究方向。
在微软研究院,研究很大程度上由好奇心驱动。我得以继续研究博士期间关注的拥塞控制,同时直接获取微软产品团队的反馈,了解产业界的实际问题。DCTCP 和用于 RDMA RoCE 拥塞控制的 DCQCN 就是在这样的背景下诞生的。
那段时间我也涉足其他领域。我的主管 Victor Bahl 在无线网络领域经验丰富,我从他那里学到了很多无线网络知识。我们还做过 Windows Phone 二进制文件重写的副项目。
后来,为 RoCE 研发的技术需要投入生产环境,我也从研究转向工程落地,网络验证是其中的重要工作。转岗 Azure 后,我再次遇到了 Dave Maltz 和 Albert Greenberg 等导师,并参与主导将微软的存储后端迁移到 RoCE。
当时的核心问题是 TCP 协议处理会消耗大量 CPU 算力。在 Azure 这样的商业公有云中,CPU 是可以直接对外售卖的资源。团队决定将存储流量迁移到 RoCE;在当时,这是一项相当大胆的决定,因为市场上还有 InfiniBand 等替代方案。
主持人:那大概是什么时候?
Jitendra Padhye:大概是 2014 年或 2015 年。那是一项规模很大的工程。当时业界逐渐认为 RoCE 是正确方向,但我们也曾反复权衡,放弃 InfiniBand 是否合适。
从科研转向生产环境,我最大的体会是:研究提供理论基础,但生产系统还必须解决许多底层工程问题。路由器可能没有任何提示就丢包,物理链路会发生故障,也会出现循环冗余校验(CRC)错误。这些问题必须逐一处理。Azure 的经验后来也延续到了 AI 工作负载和 OpenAI 的工作中。
主持人:存储网络和 AI 工作负载之间的联系,比我原先想的更紧密。你刚才提到存储节点的 CPU 负载高,这背后的原因是什么?
Jitendra Padhye:当时计算和存储两端的 CPU 都面临压力。在 Azure 架构中,虚拟机的虚拟硬盘(VHD)挂载在分布式存储集群上,存算分离使计算节点与存储集群之间产生大量数据交互。
存储端虽然做了分片等优化,使用 TCP 协议仍然需要算力处理协议栈;即便进行了部分硬件卸载,CPU 负载依然很高。计算端挂载 VHD,也需要占用 CPU 核心处理 TCP 数据流。两端都会产生额外成本:计算节点的核心原本可以售卖给客户,存储节点消耗的 CPU 则会推高设备成本。
主持人:再往前追溯,你为什么会选择研究拥塞控制?
Jitendra Padhye:其实是机缘巧合。大约在 1996 年至 1998 年间,Sally Floyd 发表论文,指出 TCP 吞吐量与丢包率的平方根成反比。论文也明确提到,公式没有涵盖 TCP 超时;而当丢包率高到一定程度时,超时机制会成为影响性能的关键。
我们于是尝试推导一个包含超时机制的理论公式。数学推导很快完成,接下来要在真实网络中验证。那时我在多所大学都有朋友,我们通过互联网建立 TCP 连接,实测丢包率和传输性能,发现结果与理论公式高度吻合。这就是 1998 年我与 Victor Firoiu 和导师 Don Towsley 共同发表的论文。
当时摆在我面前的方向是 TCP 或组播。后来回头看,我很庆幸选择了 TCP。
主持人:那个年代,网络设备价格高昂,工程师都希望尽可能利用设备性能,比如不愿让一台 100 Mbps 交换机只跑到 50 Mbps。
Jitendra Padhye:是的。后来 Google 也做了很多创新,例如调整初始拥塞窗口、引入快速重传,以及利用周期性重传降低长尾延迟。
无线网络领域也有很多突破,例如 MIT 的 Dina Katabi 提出的网络编码。无线丢包不一定是拥塞,也可能来自信号干扰。发送端在发送数据包 A 和 B 后,再发送一个 A+B 的编码包,接收端便可以据此恢复丢失的数据。那个年代的网络研究有很多有意思的创新。
2. 从存储网络到 AI 集群:RoCE 与 MRC 的技术演进
主持人:你刚刚介绍了多路径可靠连接,也就是 MRC。这项技术从存储网络的 RoCE 经验出发,最初要解决什么问题?
Jitendra Padhye:背景仍然是规模扩大。AI 训练集群不断增长,InfiniBand 的扩展性逐渐面临瓶颈。我们最初考虑先在跨数据中心互连,也就是 Scale-across 场景中使用 RoCE。验证之后,自然会进一步思考:能否在数据中心内部的 Scale-out 网络中也转向 RoCE,替代 InfiniBand?
但实际落地时,RoCE 的问题也暴露出来了:ECMP 可能发生哈希冲突;协议对数据包按序交付要求较高,容错能力较弱,并依赖无损网络。
存储工作负载相对灵活,可以容忍 P95 或 P99 的长尾延迟;AI 同步训练却更关注最慢的 GPU 和最慢的一次传输。因此,我们需要重新审视 RoCE,或者在它的基础上构建新机制。Verbs 接口基本保持不变,但在其下引入了数据包喷洒等机制。这些想法并非凭空出现,Mark Handley 等学者多年前就已讨论相关技术。
主持人:这项工作是在你加入 OpenAI 后启动的吗?最初有哪些合作伙伴?
Jitendra Padhye:部分研究在我还在微软时就已经开始。当时多家公司都在讨论,业界越来越认识到需要某种形式的数据包喷洒。具体怎么实现则是另一回事,我们与 AMD、英伟达等合作伙伴共同推进。
主持人:从小型测试集群到大规模集群,你们和厂商是怎么合作的?
Jitendra Padhye:我与英伟达团队合作得很紧密,团队里的其他同事也与 AMD 深度合作。MRC 是新协议,早期不可避免地经历了磨合:测试不断发现问题,技术规范也在同步编写和修改。
我们和云服务商伙伴搭建不同规模的测试集群,运行真实负载并发现问题;英伟达工程师发布新固件后,再进入下一轮验证。有时双方会在会议室连续几小时排查前一天暴露的问题。
我们的核心贡献是提供真实工作负载和真实集群环境。仅用 ib_write_bw 一类基准测试工具持续运行,未必能暴露深层问题。团队需要运行真实训练负载,构建精确的问题复现环境,再交由厂商定位根因、发布补丁,随后继续验证。
主持人:过去 12 个月里,产业界对协议规范是否更有共识了?
Jitendra Padhye:是的。与多家厂商并行合作,也有助于推动标准化。只与单一厂商合作时,有时容易走向定制化私有方案;多家厂商共同参与,则都需要解决相同的底层问题。与 AMD、英伟达和博通的协作效果很好。
3. 可靠传输:静默故障、数据包裁剪与确定性遥测
主持人:过去网络设计通常假定丢包会发生,再依靠重传保证业务运行。现在训练网络对韧性和可靠传输提出了更高要求。除了 MRC 协议,还需要哪些能力?
Jitendra Padhye:网络丢包主要有几类原因。第一类是拥塞,可以通过拥塞控制协议、显式拥塞通知(ECN),以及 RoCE 使用的基于优先级的流量控制(PFC)来减少或避免拥塞丢包。
第二类是 CRC 错误,也就是物理链路劣化导致的丢包。第三类更隐蔽,是静默故障(Gray Failures):数据包在路由器缓冲区驻留时发生损坏,这类问题很难排查。
在 Azure 部署 RoCE 存储网络时,我们启用 PFC 反压,构建了所谓的“无损”以太网 Fabric。这里的无损主要指没有拥塞丢包。PFC 无法避免 CRC 丢包,因此微软对光模块采购和质检制定了严格流程,以降低物理链路丢包率。
静默故障则无法彻底杜绝。数据包在缓冲区等待转发时,可能因宇宙射线等因素发生比特翻转。为此,我们在微软开发了 NetBouncer(或 NetScan)系统,通过持续注入测试流量,监测丢包位置和数据损坏。
主持人:OpenAI 如何处理这些问题?
Jitendra Padhye:我们也采用分层防御。MRC 利用流量喷洒减少局部热点和拥塞丢包;同时,SRv6 配合自研的 Cluster Mapper,可以对网络 Fabric 进行精细探测。
几天前,我们定位到一台存在静默损坏问题的路由器:特定大小的数据包进入它的缓冲区后会损坏。MRC 检测到路径偶发丢包后,自动弃用对应的路径选择(PS)值,将流量切到其他路径。借助 SRv6 和 Cluster Mapper,我们锁定了故障设备,并把证据提交给厂商调查。
主持人:厂商查出具体原因了吗?
Jitendra Padhye:大概率是硬件故障,看起来可能是缓冲区出现字节卡死(Stuck Byte)或比特卡死(Stuck Bit),具体还要等待厂商分析。集群中有成千上万台设备时,这类小概率故障不可避免。这不是针对某家厂商的批评,但它是很有价值的工程案例。
主持人:你们的路线和 Meta 多年前的 F16 网络有相似之处,核心也是数据包喷洒。虽然约束不同,架构思路却很接近。
Jitendra Padhye:这并不意外。不同团队面对相似的底层工程问题,最终可能得到相近的架构,只是实现细节有所不同。超大规模集群面对的很多网络物理约束是共通的。
数据包裁剪如何加快重传
主持人:我还想了解数据包裁剪。如果交换机保留包头、丢弃载荷,最终不还是要重传吗?
Jitendra Padhye:是的,但它与直接丢弃整个数据包不同。当数据包到达交换机缓冲区,而缓冲区无法容纳完整数据包时,交换机可以裁剪载荷,只转发包头。
这样做能维持 ACK 时钟的连续性。接收端网卡收到包头后,可以立即生成否定确认(NACK),明确告诉发送端:包头到了,但载荷丢失,请求重传。
如果整个包都被丢弃,系统可能只能依靠超时定时器判断丢包。即便启用选择性确认(SACK),数据流中的空洞也不一定意味着丢包:在数据包喷洒架构中,不同包走不同路径,乱序本来就是常态。
因此,传统基于重复确认或乱序包的快速判丢方式不能直接照搬。定时器的合理阈值至少需要考虑一个往返时间(RTT)和额外余量。发送端无法立即区分数据包是在绕路、排队,还是已经丢失;这个等待余量会影响训练性能。
采用裁剪后,接收端收到包头便可发送 NACK,无需等待超时。交换机在缓冲区队列达到预设裁剪阈值、无法转发完整包时剥离载荷;发送端收到重传请求后,还可以根据启发式算法重新选择 PS 值,将重传包引导至另一条路径,并同步降低发送速率。
数据包裁剪因此也是一个拥塞信号:它表明所经路径上的缓冲区达到裁剪条件,系统可以依据算法和负载特征快速响应。
为什么使用 SRv6 源路由
主持人:你们还选择不再使用动态 BGP。当时的目标是什么?
Jitendra Padhye:更准确地说,是选择源路由后不再需要 BGP。引入源路由的核心目标是确定性地绕行故障。
传统 BGP 存在路由收敛延迟。在通用网络中,这是一种正常的权衡;但在 AI 训练集群中,我们拥有端到端控制权,可以根据业务需求指定路径,不必依赖 ECMP 随机哈希,也不必被动等待 BGP 探测故障、传播路由并完成切换。
主持人:这个选择的前提是,你们控制着整个训练集群,而不是运营一个需要与全球互联的公网。你还提到了 SRv6 路径固定和确定性遥测,两者如何配合?
Jitendra Padhye:在由 BGP 和 ECMP 驱动的传统网络中,可以收集路由器遥测数据监控丢包。但路由器也是复杂的软件系统,可能存在 Bug;发生静默丢包时,设备未必会上报异常。
因此,超大规模网络通常会部署端到端主动探测。即便是简单的两层网络,如果某台 Tier-1 交换机偶发丢包,而你无法精确控制 ECMP 哈希路径,也很难迅速定位设备。链路抖动、路径状态不断变化时,排查会更加困难。
采用源路由后,可以确定性地向指定路径发送探测包,检查链路状态,甚至判断数据包经过某台路由器时是否损坏。在传统 ECMP 网络中,端到端测量不一定能确定某个包走过的完整物理路径,往往需要结合统计推测和 Traceroute 排查;SRv6 则让指定路径探测更加直接。
配套工具链
主持人:为了验证 SRv6 路径固定,你们还建设了哪些工具?
Jitendra Padhye:除了 Cluster Mapper,我们还构建了黑名单(Deny List)机制。大量设备因维护下线时,系统会屏蔽相关路径,将对应 PS 值从可用列表中移除,避免流量误入。
我们还开发了配置校验器,检查路由器操作系统中的 SRv6 配置。集群中每台主机都维护一份记录全网拓扑的地址文件,自动化工具通过合成流量持续验证文件的准确性。
围绕 MRC 和 SRv6,我们实际上建设了一整套底层工具链。对外分享时,这部分工作往往没有协议本身那么显眼。
主持人:如果要验证整个网络,是否需要持续向所有路径发送探测包?
Jitendra Padhye:可以想象在 SRv6 环境中做 Traceroute:由于路径由源端指定,要探测全网所有路径,就需要枚举大量路径组合。
传统网络中的一次 Traceroute 则可能被 ECMP 固定到某条路径,对其他路径的健康状况所知有限。过去工程师有时需要手动抓包,再构造使用相同 TCP 源端口的探测包复现问题。Cluster Mapper 和 SRv6 让这些工作更具确定性。
我的同事 Rider 和 Joe 在这方面做出了重要贡献。传输协议固然重要,围绕协议建设的网络管理系统和自动化工具链同样关键。
4. 工程文化与迭代速度:科研实验室、公有云与前沿 AI
主持人:微软研究院偏重学术探索,OpenAI 则聚焦快速迭代。你如何看待这两种工作方式?
Jitendra Padhye:与其说是文化差异,不如说业务需求不同。
Azure 是公有云,承担着大量企业的 IT 基础设施职责,稳定性和可靠性是首要要求。很多客户选择上云,就是因为不希望自己维护庞大的底层运维团队。因此,公有云基础设施不能随意激进变更。
Azure 的工程实践非常严谨。新功能上线需要经过预金丝雀(Pre-canary)、金丝雀(Canary)、小规模试点(Pilot)等多阶段验证。
在 OpenAI 的模型训练侧,工作的核心目标是让训练任务持续推进。虽然这个“客户”的要求很高,但我们掌控从底层硬件到上层应用的技术体系,因此可以进行跨层创新。Meta 也有相似之处:如果底层网络存在限制,至少在理论上,上层应用可以做相应适配。
Azure 则不同。底层复杂性需要对客户屏蔽,我们不能要求企业客户修改自己的业务逻辑,来适配 RoCE 网络的问题。不同业务约束自然会带来不同的工程方法。
主持人:与两三年前相比,你是否觉得 AI 基础设施的创新速度更快了?
Jitendra Padhye:演进速度确实很快,但关键区别之一是创新成果进入生产环境的速度。每天都有新想法和原型;在公有云公司,技术投入生产前必须经过审慎的风险评估和工程验证。而在聚焦核心训练任务的公司,或者 Meta、Google 搜索这样的业务中,新技术可能更快用于大规模生产。
这没有绝对的好坏,主要由业务需求决定。
主持人:对于正在攻读博士学位的人,哪些科研能力在未来的工业实践中最有价值?
Jitendra Padhye:首先是专注于复杂问题,并运用严谨的分析和数学方法深入思考。进入生产环境后,紧急故障排查常常占据大量时间,很难再拿出完整时间做深度研究。科研阶段培养的分析建模能力,有助于抓住复杂系统瓶颈的本质。
其次是写作、阅读和公开演讲能力。撰写论文、做学术报告,可以帮助研究者建立专业深度,也能训练表达能力。科研环境还提供机会了解相邻领域,例如编程语言和分布式系统。这些跨学科视野和表达能力,在后续工作中都很有价值。
5. 快问快答:AI 工具、未来瓶颈与 MRC 演进路线
主持人:MRC 接下来的重点是什么?
Jitendra Padhye:我们会继续与多家硬件厂商合作。网络速率会持续提升,Fabric 规模也会扩大,出现更复杂的两层或多层网络。
算力互连大致可以分为三个层级:
- Scale-up:机内或机柜级互连,例如 NVLink。
- Scale-out:数据中心级互连,例如基于以太网的 MRC。
- Scale-across:跨数据中心互连。
未来可能需要跨多个数据中心,甚至跨多朵云协同训练超大模型。如何将 MRC 的核心理念延伸至 Scale-across,是当前重点探索的方向。
数据中心内部的 MRC 也会继续演进。我们会把在 800 Gbps 以太网 Fabric 上积累的经验,以及与英伟达和其他厂商合作的技术积累,用于 NVIDIA Vera Rubin 集群建设。
主持人:你目前最常用的 AI 工具是什么?
Jitendra Padhye:Codex。我几乎所有日常工作都会用到它,它改变了我的工作方式。
主持人:你更倾向于给智能体宏观方向,还是给出精确指令?
Jitendra Padhye:两种都会用,取决于任务。写代码时,我通常先让智能体生成初版,再审阅并提出具体修改意见。
排查网络故障时,我可能先给出方向和初步猜测,让它深入排查、汇报结果,然后逐步收敛。对于明确故障,例如已知某张网卡失效,我也会给出精确步骤,让它采集日志并进行根因分析。探索性任务和精确指令都能用到。
主持人:如果 AI 训练集群继续扩大,最大的物理瓶颈是什么?网络层面的任务同步问题能解决吗?
Jitendra Padhye:我认为主要限制是电力与物理空间。从网络技术角度看,超大规模任务同步可以解决,但电力供应可能更早达到上限。土地获取和电力容量采购会限制数据中心扩张,提升能源利用效率的技术也会很有价值。
主持人:MRC 规范已经公开,未来会有 V2 或 V3 吗?
Jitendra Padhye:我预计会有。随着大规模实践积累更多认识,规范需要持续迭代。虽然我不想直接把 MRC 和 TCP 类比,但 MRC V2 及后续版本会随着产业需求逐步推出。
主持人:除了工作中的 Codex,你在日常生活中还常用什么 AI 应用?
Jitendra Padhye:我们全家都在用 ChatGPT,从个人财务规划到旅行攻略都会使用。最近家人的欧洲旅行路线也是用它规划的。
来源
- 节目:@Scale Podcast,Powering the Frontier, Inside OpenAI's Networking Infrastructure | Jitendra Padhye
- 受访嘉宾:Jitendra “Jitu” Padhye,OpenAI 网络架构师,曾任职于微软研究院和 Azure
- 发布频道:@Scale
- 发布时间:2026 年 11 月 18 日
- 原始链接:https://www.youtube.com/watch?v=cW_4f9Ze_Zc