浪潮元脑SD200 Ultra超节点：Token生成时延如何做到5.85ms

2026年，AI智算领域最热门的关键词是什么？

答案显然是超节点。

几乎所有的算力厂商，都在围绕超节点展开布局。大家已经形成共识：拼单卡算力的时代已经过去，系统级协同才是决胜关键。

超节点采用 Scale-up 紧耦合思路，高密度集成大量 AI 芯片，构建统一的高速计算域，确实是算力发展的必然选择。

整个行业在卷超节点，但卷的方向，正在发生微妙的变化。

9月23日，海外 TPU 推理优化团队 Inferact 开源了一套 tpu-megakernels（面向 TPU 的巨型算子），用16颗谷歌 TPU v7 芯片把整个 Kimi K3 装进一个 kernel（内核），配合 DSpark 投机解码，低并发 Decode（解码）吞吐达到 709 tokens/s。

过去，大家卷的是“规模”——超节点芯片数量、显存容量、可承载模型参数量，是厂商相互 PK 的核心指标。

如今，业界对 AI 算力的评估焦点，变成了“速度”——大家都意识到，超节点不能只看堆卡规模，更要看 Token 速度。

国内厂商也在积极布局。不久前的 2026 人工智能计算大会上，浪潮信息甩出了自家最新的超节点——元脑 SD200 Ultra。在发布会上，他们提出的几个数字，吸引了业界的关注：

“SD200 Ultra 单机紧耦合 128 颗本土 AI 芯片，单机最大支持 10 万亿参数模型，可原生运行 2.8 万亿参数 Kimi K3 大模型，单 Token 生成时延首破 5.85 毫秒。”

5.85 毫秒，相当于单用户 170 Tokens/s，属于什么水平呢？

这么说吧，虽然目前业界还没有第三方的测评，但普遍来说，很多国产超节点在未优化的情况下，单用户 Token 输出速度往往在 20 Tokens/s 左右。各个大模型的 API 接口，Token 生成速度在 60 Tokens/s，国际领先水平性能会达到 200 Tokens/s（时延在 5 毫秒以内）。

SD200 Ultra 已经是国产超节点的顶尖水平，是平均值的五倍左右。

那么问题来了，浪潮信息为何如此强调 Token 输出效率？不按常理出牌，究竟是出于什么考虑？他们又是如何做到这么快输出速度的？

算力竞争进入全新阶段，Agent 开启 Token 效率时代

浪潮信息之所以重点强调 Token 输出效率，核心在于对 AI 算力发展趋势的判断。

回顾 AI 算力的竞争，其实大概可以归纳为三个阶段：

首先，是最早期的单芯片性能竞争阶段。在这个阶段，行业重点研究如何提升单芯片算力、显存带宽和容量。单芯片的性能，是系统性能的重要基础。

后来，随着模型规模的不断扩大，单卡、单机已经无法满足需求。行业开始研究多卡、多机协同，以此打造更大规模的算卡集群。超节点属于紧耦合计算域，相当于将更多的卡“凝聚”为一台计算机，具有更强的性能。

在这一阶段，行业关注的是规模，也就是比拼超节点的芯片数量。

不过，在追求规模的过程中，大家已经发现，芯片之间的数据交换、同步和内存访问变得越来越复杂。通信开销、数据搬运和计算等待的问题，也变得越来越棘手。

系统整体算力很难随算卡数量线性增长，性能损失越来越大。互连、算子等等系统级的优化，也成为影响有效算力的重要因素。

算力供给侧遇到瓶颈的同时，算力需求侧也发生了变化。

随着时代的发展，AI 浪潮从生成式 AI 时代进入到代理式 AI 时代，Agent 成为主流业务形态，用户交互开始从一次性问答转向持续自主执行任务。

Agent 是典型的长链路业务。它拆解目标、生成方案、调用工具、读取返回结果，然后推理迭代，如此多轮循环、持续思考。

在 Agent 的多轮循环中，每一次工具调用和结果读取，都伴随着 Token 的生成与消耗。如果出词速度（Token/s）依然停留在二三十的“打字机”水平，不仅长链条思考会让业务流程彻底卡死，极低的有效算力利用率（MFU）更会直接击穿大模型厂商的商业盈利底线。

说白了，大量算力浪费在等待 Token 输出、反复数据搬移与通信阻塞上，硬件峰值算力再高，也无法转化为可落地、可盈利的智能生产力。

基于以上背景，浪潮信息提出了独特的 Capability&Capacity 算力供给理念。

他们指出，Agent 时代的 AI 计算正在形成两个同样重要的发展方向：

Capability AI Compute，即能力型智算，支撑突破智能上限，让 AI 帮助人类探索未知、解决过去解决不了的问题。

Capacity AI Compute，即容量型智算，实现智能充分供给，让高水平智能越来越丰富、越来越经济、越来越易于获取。

简单来说，Capability 决定 AI 能飞多高，Capacity 决定 AI 能飞多远。前者是突破上限的“尖刀”，后者是普惠落地的“基石”。

站在 Capability 的角度来说，面向市场推出的超节点产品，必须具有足够强的能力，来满足用户运行前沿大模型的需求，应用于科研创新、商业决策和数据处理等具有挑战性的场景。

超节点走入公众视野已经有比较长的时间，但此前圈内厂商们在宣传超节点的时候，有意无意地都会将规模作为要点，但很少提及速度。因为如前面所说，规模扩张势必会带来效率瓶颈。

浪潮信息将速度放在最高优先级，是真正避虚就实，点出了问题的关键——一款好的超节点产品，并不是看能连接多少芯片，而是看新增芯片能否持续贡献有效算力。

尽可能提升计算扩展率，比盲目“堆卡”更有意义。只有让这些芯片形成更加紧密的整体，才能发挥极致效能，让每一分投资都发挥价值。

元脑 SD200 Ultra 的整个设计，就是围绕这个理念展开的。

SD200 Ultra 相比去年的 SD200，首先在芯片上进行了升级，从 64 芯扩展为 128 芯。算力直接 double（翻倍），显存也直接 double，单机就能支持到 8T 的 GPU 显存，能够跑 Kimi K3（2.8 万亿参数）这样的领先开源模型。未来一两年，顶尖大模型会进入到 10 万亿参数时代，SD200 Ultra 也完全可以应对。

SD200 Ultra 带来了远超行业均值的 Token 输出效率，为用户提供了快速响应的智能供给，可以让用户放心大胆地拥抱 Agent 应用。

这种性能强大的 Capability AI，也为 Capacity AI 容量型智算的普惠落地打下了基础。

浪潮信息首席 AI 战略官刘军的原话很直白：“今天的前沿能力，就是明天的普惠基础。”

架构创新 + 超级算子，打造极速智算底座

接下来，我们就从技术的角度，看看 SD200 Ultra 是如何实现高 Token 输出速度的。

我们先看影响 Token 输出速率的主要原因是什么。

以全球最大开源模型 Kimi K3 为例。

这个模型总参数量 2.8 万亿、激活参数量 104B，权重文件约 1.56TB。普通的 AI 服务器，GPU 显存连权重都装不下，更别提百万 Token 上下文。因此，官方推荐扩展到 64 卡甚至更大规模才能装得下。

即使装得下，对算力系统显存带宽与节点间通信要求也极高。

据 SemiAnalysis 的分析，K3 每执行一次前向计算，仅 HBM 带宽需求就高达约 1.5TB。896 个专家需要分布到多卡上，每次前向传播触发超过 120 次 All-to-All 通信。

这意味着，规模越大，如果互连带宽和延迟跟不上，大量算力就会被浪费在等待多卡之间的数据搬运上。

一般来说，未经优化的超节点跑 Kimi K3，初始性能可能仅在 10 tokens/s 左右。

大模型推理，通常经历 预填充（Prefill）和解码（Decode） 两个阶段。

预填充，集中处理输入，计算密集、数据成块，通信开销可以被大量计算摊薄。

而解码则不同。解码阶段，逐个 Token 生成输出，每一步的计算量有限，通信与同步的固定开销无法被摊薄，通信时间在单 Token 生成时间中的占比随之显著上升。

因此，解码效率，直接决定了整个推理系统的效率。

集群规模越大，通信链路都会越长、参与同步的节点会越多。在解码阶段，计算颗粒度细、通信频率高，集合通信和跨节点同步会持续放大通信开销。

当通信时间、尾部延迟和调度成本逐步抵消新增算力的收益，Token 吞吐的边际提升就会趋缓——规模在扩张，效率却未必同步增长。

所以，我们可以看出，想要提升 Token 输出效率，关键在于打通“任督二脉”，大幅提升通信链路能力，缩短通信时间，消除尾部延迟，降低调度成本，进而提升解码效率。

浪潮信息所采用的技术创新解决方案，主要包括两个方面：

第一，独创 Co-Fabric 紧耦合架构，重塑芯片互连底座

超节点，说白了，关键在于芯片之间的互连技术。英伟达的 NVL72，还有华为的昇腾 950，前者通过 NVLink 实现高带宽域内互连，是 PCIe 基础上创新。后者则依托自研灵衢总线构建紧耦合拓扑，是以太基础上的改良。

NVLink 和灵衢都面向特定芯片。作为浪潮信息这样的厂商，面向多类算力是必然选择，所以，他们必须走一条更通用、更开放的互连路线。

他们给出的解决方案，是打造一个包括互连协议、系统架构、底软、通信库等软硬件协同技术体系的全新架构。这个架构，就是 Co-Fabric。

Co-Fabric 是深度改进的一种总线协议，参考了 PCIe 物理层基础。它把计算域总线范式从 xPU 域扩展到覆盖全部系统资源（计算、存储、网络与管理），纳入单一互连网络。

通过提供跨主机域的统一寻址、具备 Load/Store 语义的原生 P2P 通信以及精简的协议栈，Co-Fabric 构建了一个统一的数据搬运平面，打破主机域边界，最大化整个超级节点端到端的数据搬运效率。

Co-Fabric 的第一个特点是统一访存。

Co-Fabric 继承了总线架构的核心优势——原生内存语义。它通过首创的“影子设备自动枚举”机制，为整个超节点构建了一个全局统一的平面地址空间。

无论这些 AI 芯片物理上分布在哪个服务器节点，对于系统和开发者而言，它们都被统一映射为本地可见的虚拟设备。芯片可以直接使用最底层的 Load/Store 指令跨域读写远端显存，彻底免除了传统以太网繁琐的显存注册与多层地址转换开销。

Co-Fabric 的第二个特点是精简协议。

为了在跨域扩展时依然保持极速，Co-Fabric 对网络协议进行了“极致瘦身”。针对传统以太网沉重的传输层和网络层影响传输速度和数据完整性的问题，Co-Fabric 通过物理、链路、Fabric 和语义四层精简协议栈，减少不必要的协议处理环节，提升数据传输效率与端到端通信性能。

其 Fabric 层利用数据包头部嵌入的端口标识符进行硬件级路由，数据包可以直接在交换机硬件层面完成跨域投递，完全绕开主机 CPU 和网络协议栈。

更关键的是，Co-Fabric 在链路层原生支持基于信用（Credit-based）的流控和重传机制，将节点间可靠传输的延迟压缩至纳秒级。

Co-Fabric 的第三个特点是开放架构。

Co-Fabric 具有极高的开放性。它将计算、存储、网络资源统统纳入同一个互连域，支持超节点从数十卡弹性扩展至千卡规模。

元脑 SD200 Ultra，就是基于 Co-Fabric 创新的完美产品落地。

它采用 3D Hyper Mesh 架构，把 128 芯 AI 芯片纳入同一个高速互连域，构建原生内存语义通信网络，All to All 通信时延最低到 0.69 微秒，大幅削减芯片之间数据交互开销，让上百颗芯片协同工作如同单颗芯片，为高速 Token 生成搭建底层硬件通道。

SD200 Ultra 通过全局统一编址、虚拟影子设备注册、跨域地址翻译，构建统一地址空间，搭配对称内存对等互连技术，AI 芯片可以像访问本地显存一样直接读写远端芯片显存，直接发起 P2P 访问，省去消息打包、缓冲区中转、多层地址转换等一系列开销，AllReduce 通信时间降低 3.5 倍。

在成本和功耗方面，SD200 Ultra 直接摒弃了昂贵的以太网卡和以太网交换机，采用纯硬件 Retimer 配合 Co-Fabric 交换芯片以及短距被动铜缆连接。这使得互连网络本身的硬件成本暴降约 80%，功耗也降低了约 5%。

这种设计减少了光电转换环节，也降低了链路故障引发任务中断的风险，可以支撑长程 Agent 任务稳定运行，实现极佳的系统 ROI（投入产出比）。

第二，超级算子叠加 AI 自优化，实现全流程 Token 提速

元脑 SD200 Ultra 在算子优化上，也进行了大胆创新。

传统推理框架由大量细碎的基础算子串行执行，每一次算子启动都带来调度开销、HBM 内存访问开销。算子间高频切换产生的启动延迟，在 HBM 带宽上留下了大量白白浪费的“空泡（bubble）”。

元脑 SD200 Ultra 通过使用 Kimi K3 构建超级算子智能体，实现通算融合、Tile 级流水的超级算子，将 KDA、Gated MLA、MoE 中的众多基础算子融合为计算与通信协同执行的大算子，算子数量降低 10 倍，大幅减少算子启动次数和 HBM 访问开销，隐藏通信延迟，消除“空泡”，提升 GPU 整体执行效率。

通过“K3 优化 K3”的思路，他们实现了 Kimi K3 在元脑 SD200 Ultra 上的推理性能提升 3 倍以上，从计算层压缩 Token 生成时延。

以上系统级技术创新，真正把硬件峰值算力转化为真实可用的推理有效算力，拉高算力有效利用率（MFU），让高 Token 速度从理论指标变成稳定可运行的业务能力。

对于用户来说，他们关心的是体验，而 Agent 时代下，体验的最重要落点是 Token 生成速度。它直接决定了智能体交互的流畅度与自然感。

浪潮信息聚焦用户需求，将多年的技术积累转化为产品创新，为用户提供了可感知的体验提升。这个方向显然是正确的，值得点赞！

结语

超节点的风向已经转变：从比拼硬件堆叠规模，转向衡量系统能否稳定、高效、低成本持续生产 Token。

Agent 时代，算力的价值不再看芯片的纸面峰值，而看能不能顺畅跑完长链路智能任务。浪潮信息对超节点性能跑分的公布，值得整个行业认真审视和参考。

AI 浪潮仍在继续，超节点技术也将持续迭代。我们期待超节点在算力利用效率、互联带宽、能效比等维度不断突破，也期待更多系统级创新从“实验室指标”走向“规模化生产环境”，真正驱动人类加速迈向 AGI 时代。