百度开源文心5.5 Flash基座：重构混合稀疏注意力，30项基准赢DeepSeek 26项

11 月 5 日，百度没有开发布会，也没有任何预热，直接把文心 5.5 Flash 扔上了 Hugging Face。放出来的还是一个没做过对话调教的“毛坯”——只有预训练权重。可成绩单却不含糊：在百度自测的 30 项基准里，它赢了 DeepSeek-V4-Flash 26 项。编程测试 MBPP+ 领先 14.3 分，HumanEval+ 领先 12.8 分。

更耐人寻味的是它的配置文件：多项参数和 DeepSeek V4 Flash 一模一样，注意力实现一栏赫然写着 “dsv4_hybrid”。43 层、4096 维、64 个注意力头，全部对齐。

照 DeepSeek 画骨架，转头又说自己赢过老师——这到底是一次讨巧的抄作业，还是真正做到了青出于蓝？文心究竟借了什么，又改了什么？

青出于蓝，胜于蓝

文心 5.5 Flash 和 DeepSeek-V4-Flash 同台竞技，30 项赢了 26 项，优势在编程上最明显。

两个模型几乎同一量级：文心总参数 280B、激活 14B，DeepSeek-V4-Flash 是 284B、激活 13B。这次放出的是“预训练刚结束”的权重，没做任何后训练美化，比的就是预训练阶段的硬功夫。百度拉来了 DeepSeek-V4-Flash、小米 MiMo-V2.5、腾讯 Hy3-preview 三家的底座模型，用同一套评测管道跑了 7 类 30 项。

差距最大的是代码能力。MBPP+ 和 HumanEval+ 两项上，文心分别以 81.5 对 67.2、82.3 对 69.5 过关，一口气拉开了 14.3 分和 12.8 分。对小米 MiMo 和腾讯 Hy3，文心也各赢 27 项。

文心并非全胜。中文事实问答 ChineseSimpleQA 上，它 73.0 对 75.3 输给了 DeepSeek。不过有个背景要补上：三家对手的底座都是今年 4 月发布的，DeepSeek 到 9 月已经更新了 V4.1 Flash。

整体战绩这么好，它到底从 DeepSeek 那里继承了多少，又在哪些地方动了刀子？

同一副骨架

文心沿用了 DeepSeek V4 的压缩注意力、残差结构和专家路由，证据直接写在配置文件里。

百度官方博客通篇只在评测部分提了 DeepSeek。可一旦翻开两家在 Hugging Face 上的 config.json，重合的地方一目了然：

• 层数、隐藏维度、注意力头数：相同，都是 43 层、4096 维、64 个头
• 注意力头维度、Query 压缩维度：相同
• 滑动窗口、索引器的头数和头维度：相同
• mHC 残差通道数和迭代次数：相同
• 上下文扩展方式：相同
• 压缩层排布：不同——文心 37 层压 128 倍、6 层不压缩，DeepSeek 是压 4 倍和压 128 倍交错
• 专家层：不同——文心 512 个专家选 10 个，DeepSeek 256 个选 6 个

前几项决定了主干网络有多深、多宽，后几项则深入稀疏注意力和残差的内部。主干和内部同时对上，借鉴不可谓不深。

DeepSeek 这副骨架要解决的核心问题是 KV 缓存这个“显存刺客”。模型把每个 token 算好的中间结果存在显存里，上下文越长，这份缓存越膨胀。

DeepSeek V4 的思路是“压”和“选”，把注意力层拆成两个工种：

• 重压缩注意力（HCA）：每 128 个 token 压成一条缓存，模型仍能扫到全文，只是看得粗糙，缓存缩到一百二十八分之一
• 压缩稀疏注意力（CSA）：每 4 个 token 压成一条，再派一个轻量索引器打分，只挑最相关的 512 条细算——看得精细，但只聚焦重点

这套挑选机制，其实就是 稀疏注意力（DSA）：不是每个 token 都值得模型花力气去看，先粗筛一遍，再对关键位置精读。DSA 公开后不到一年，已经进了智谱 GLM-5、腾讯混元 Hy4 的标准配置，如今又出现在文心身上。

残差和路由同样一脉相承。文心用流形约束超连接（mHC）把普通残差扩成 4 条并行通道，专家负载均衡不加辅助损失，专家间通信用的也是 DeepSeek 开源的 DeepEP。

但文心并非无脑照搬——它在几个关键位置动了架构级的手术。

四处动刀

文心的改动集中在四个点：压缩层、多 token 预测、专家层和输出头。

第一刀：压缩层

DeepSeek V4 Flash 的注意力层是 CSA 和 HCA 交替排列。文心在这里做了三个调整：

1. 砍掉 CSA：压 4 倍再挑重点的 CSA 层，一层不留
2. 补上全文层：每七层留一层不压缩的注意力层，逐个 token 保留历史，再从中挑出最相关的 2048 个位置细算
3. 按成本配头宽：省算力的 HCA 层沿用 512 维宽注意力头，费算力的全文层改用 256 维窄头

百度称，在相近的缓存预算下，这套组合优于 HCA 配 CSA。全文层是唯一能逐个看清远处 token 的层：HCA 负责粗看全局，精细活全部交给这 6 层。43 层里 37 层看的是压缩了 128 倍的序列，但这 6 个全文层已经足以撑住长文本表现。测试数据也支持这个判断——6 项长文本测试里，文心有 4 项高于 DeepSeek。

第二刀：多 token 预测

所谓多 token 预测（MTP），是训练时让模型不只猜下一个 token，顺带猜后面几个，逼它看得更远。DeepSeek V4 的做法是在主干外挂一个 MTP 模块。百度的评价相当尖锐：这样一来，预测未来 token 的训练信号“主要训练的是这些外挂模块”，主干本身学到的反而有限。

文心换上了自研的 ECHO，直接让主干模型的最后一层来猜后面的 token。 这一层身兼两职，成本还几乎为零：

1. 训练时：预测未来 token 的训练信号，全部落在主干身上
2. 推理时：兼职充当投机解码的“草稿模型”，先快速猜出后面几个 token，再交给大模型一次性核对，猜对的直接收下，省掉逐个生成的时间
3. 代价上：只多出大约 0.36B 参数，不需要额外训练一个小模型

更意外的是，训练时只练了多猜 1 个 token，推理时却能一口气往前猜好几个，被大模型接受的比例还高于同样训练的 MTP 模块。ECHO 论文里还和 DeepSeek 的 MTP 做了正面比较：预测 3 步时，代码成绩高 2.23 分，训练开销只有一半。

第三刀和第四刀：专家层与输出头

• 专家层：专家数从 256 个翻倍到 512 个，每次激活 10 个，但每层先把输入压到一半宽度再计算，通信量和专家计算量大约减半。路由改由多个路由器共同投票，一个看走眼，其他还能纠正，避免“选错自我强化”的循环
• 输出头：MultiMax 把单一的 softmax 温度换成可学习的分段温度，不用再在“压住离谱候选”和“保留合理选项”之间二选一

这些改动和成绩能对上号——比如长文本题 RepoQA、LongBench-v2 都领先 DeepSeek。但百度对每项改动只给了“效果更好”的结论，没有拆解各自的贡献。语料同样是个变量：文心的代码数据里专门加了提交记录、代码评审和 CI 验证过的修复。所以文心 5.5 Flash 整体表现好于 DeepSeek-V4-Flash，是架构改动与训练语料共同作用的结果。

从闭源到开源

从文心 5.0 的全模态闭源，到 5.5 Flash 的纯文本开源底座，百度把重心转向了代码、长文本以及开发者友好。

文心 5.0 去年 11 月发布，主打原生全模态，只提供 API。今年 5 月的 5.1 依然没有放出权重。这一次，百度不仅把权重交了出来，还把模态收窄到纯文本。

为什么先放底座？模型卡的解释是：不同领域、推理任务和智能体应用，需要不同的数据、训练目标和行为策略。在预训练结束时放出权重，开发者就能在通用能力的基础上，自己决定往哪个方向继续训练。

博客提到，这次语料重点补的是“事后很难再加”的能力——代码库级编程和长文本理解。工具链也在向社区靠拢：训练代码出自飞桨体系，推理部署直接接 SGLang 和 vLLM，微调示例用的是英伟达 NeMo。许可上，年收入 5000 万美元以下的商用免费。

对开发者来说，这是一块现成的高性能底座：100 万 token 上下文、偏重代码库的语料、免费商用门槛宽裕，拿来继续训练正合适。对行业来说，从 DSA 到 mHC，再到整套混合注意力架构，DeepSeek 开源出去的设计正在变成国产大模型共用的基础设施。百度在这个基础上再进一步，最终正式版能拿出什么表现，值得持续关注。