DeepInfer开源一周，vLLM与SGLang推理性能反超全记录

还得是「源神」D老师，善呐！

自家推理引擎 DeepInfer 掏出来还不到一周，开源社区就纷纷交上了作业。

真乃一鲸「落」万物生，第一波开源效果已经新鲜出炉：立志学习 DeepSeek、成为 DeepSeek、超越 DeepSeek（bushi）。

vLLM、SGLang 这些成熟的推理框架率先迎来 T0 级升级——按照各自披露的测试配置，性能已经接近甚至部分超过 DeepInfer。

确实不错。DeepInfer 最初基于 vLLM 构建，设计上也借鉴了 SGLang 的思路。如今 DeepSeek 把打磨后的实现公开，两家又接着吸收、继续优化。

哥几个是真把「开源」玩出了花。

还有些受 DeepInfer 灵感启发的个人项目陆续上线，从硬件适配、推理加速到部署优化，方向各不相同。但效果倒是出奇一致：都更能打了。

DeepInfer 一开源，整个推理社区都热闹起来。推理竞速进入白热化，It’s showtime～

开源社区玩转 DeepInfer

先看 vLLM。

这次交出的成绩，已经从「追平 DeepInfer」一路延伸到了整机架部署。

通过集成 DeepSeek 开源内核，并对预填充和解码阶段做了大量优化，vLLM 的性能曲线已经可以与 DeepInfer 持平。

在相同解码配置（131K 上下文、每轮 3 个草稿 token）下，vLLM 使用 GB200 测得的吞吐量，在批大小 8 到 256 的范围内，与 DeepInfer 的差距仅为 6%。

预填充方面，新增 token 的吞吐量也提升了 35.6%～43.9%。

再把部署规模拉到 NVIDIA GB300 NVL72 机架。配合 预填充与解码分离、扩大专家并行，vLLM 在 SemiAnalysis AgentX 测试中的每卡吞吐高达 95.4 万 tokens/s，是此前单节点结果的 7.9 倍。

同一个 DeepSeek，还真被他们继续挤出了速度……

要说这些提升是怎么来的？团队几乎把每一个细节都抠到了。

比如处理输入时，稀疏注意力需要从一批候选项中筛出值得关注的内容，这就涉及 top-k 选择。此前一条路径，会先把 DeepGEMM 输出的 BF16 分数转换成 FP32，再进行筛选。新的实现则直接让 DeepSelect 处理 BF16 数据，省掉中间那次转换。

少启动一道计算，看起来只是小改动，但在对应的算子测试中，这部分 top-k 处理速度达到了原来的约 3.7 倍。

vLLM 团队还自己改了一套 CPU 通信方式，采用递归倍增等方式交换信息，减少同步所需的轮次。

对应 Agent 常用的小批量解码，vLLM 也选择单独支持 DSpark 草稿生成，并使用完整 CUDA Graph 执行专用解码路径。

SGLang 紧接着交出的答卷，走得更远，把输入和输出两个阶段都覆盖到了。

SGLang 分别在 4 张 B300、4 张 GB300 上测试预填充，最高吞吐比 DeepInfer 高出约 4%。

解码测试同样使用 64 张 GB300。每卡 256 个请求时，DeepInfer 每步耗时 31.19 毫秒，SGLang 为 28.88 毫秒，单步时间缩短约 7.4%；每卡 8 个请求时，两者则基本持平。

具体操作中，SGLang 先是将 Mega 内核（MegaMoE、MegaAttention、Mega-mHC、MegaGate）、SWA 有界重放以及 Engram 优化全部集成。

达到对标 DeepInfer 的性能后，再继续迭代，引入更多内核融合方案。随后通过支持可拆分 CUDA 图，实现高效预填充。

最终对比 DeepInfer 的开源版本，SGLang 更为完整，额外补充了关键的服务组件，包括 KV缓存系统、预填充/解码分离架构以及负载均衡模块。

值得一提的是，SGLang 为了更严谨地对比，还在 GB300 和 B300 上把 DeepInfer 重新跑了一遍。结果不跑不知道，DeepInfer 部分配置的吞吐，比原先公布的成绩还高……

好家伙！D 老师确实是老实人，测试成绩相当实在。在 云栈社区 的技术讨论区里，这波开源对比也成了热门话题。

推理加速循环

开发者 Eric Zhang 又把玩法往前推了一步。

此前他一直在开发一套用于搭建大模型推理引擎的实验性积木库——Resin。它把多个模型都会用到的部分做成公共底座，比如调度器、KV 缓存管理等，再由用户自行补上特定模型、特定硬件需要的计算实现，就能组合出一个独立引擎。

Eric 自述，最近一周他受 DeepInfer 启发，成功让不少功能和并行机制跑了起来。根据测试结果，在 DeepSeek-V4.1-Flash 上，Resin 的性能与 DeepInfer 相差约 5%～10%，同时具备 HTTP 服务、前缀缓存和指标等功能。

接着，他又给这个底座配了个 Skill。任务是教会 AI 如何基于 Resin 实现模型，再把 Codex 放上去通宵干。

据他披露，Agent 完成了支持 MTP 的 GLM-5.3-Flash 引擎；在 B200、EP4 配置下，输入吞吐最高达到 6 万 tokens/s，输出吞吐最高达到 1.6 万 tokens/s。

而且，Resin 依旧开源。

泪目了，大肥鱼，这开源盛世如你所愿。

DeepInfer 从开源中来，又回归开源。成熟框架继续集成和优化，个人开发者也能吸收其中的设计，接力开源。

So，大肥鱼才是真正领悟了可持续开源的真谛～

参考链接：

1. https://vllm.ai/blog/2026-10-23-deepseek-v41-flash-pd-wide-ep
2. https://gist.github.com/sglang-bot/f03d7d0dd268b0386177eb2ef09f8b3b
3. https://x.com/BanghuaZ/status/2114083299102691751
4. https://x.com/vllm_project/status/2112480719952138301
5. https://x.com/ekzhang1/status/2114516258188153215