字节跳动Seed：分块KV缓存压缩下检索准确率的周期性弱点

论文基本信息

原文标题：Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression

署名单位：字节跳动 Seed、普林斯顿大学、斯坦福大学、加利福尼亚大学伯克利分校

首次公开时间：2026 年 9 月 29 日 05:54（北京时间，arXiv v1；论文内部日期为 9 月 30 日）

原论文链接： https://arxiv.org/abs/2609.36322

龙哥导读
同一信息只换位置，长文模型也会周期性漏记。字节跳动 Seed 等机构用受控检索、预训练对照与注意力头干预，揭示分块缓存的相位敏感，提醒平均分之外还要看最弱位置。

一、只改注释长度，代码续写为何周期性翻转？

一段代码本身没有变化，仅在前面增加了几个没有实际作用的注释词元，模型选择的数字就开始有规律地翻转。这篇由字节跳动 Seed 等机构署名的论文，通过这样的例子揭示了长上下文模型一种细微而系统的位置问题：同一信息在压缩窗口的不同位置，可能受到不同的保留与检索待遇。

字节跳动 Seed 是论文署名机构之一，其他署名包括普林斯顿大学、斯坦福大学，以及加利福尼亚大学伯克利分校。本文聚焦语言模型处理长文本记忆的压缩机制，英文标题中的“周期性弱点”并非某种新聊天产品，而是作者发现并分析的检索现象。

语言模型处理长段文本后，需要留下供后续注意力获取的键和值，即键值缓存。键帮助后来的查询找到相关信息，值承载被读取的内容；二者本质上是模型内部的向量，并非将原文直接存入数据库。随着上下文长度的增加，这些记忆在存储、传输和注意力计算上造成的负担也会加重。

一种成本节约的办法是将连续的一段词元压缩成较少的缓存条目。问题在于，压缩在读入上下文时发生，而后面的问题尚未出现。模型必须先决定保留哪些信息，再等待未来某个查询来使用这些信息，它不能总是等问题出现后才回过头挑选最需要的信息。

词元是模型分词后的基本单位，不等同于一个中文字，也不一定是一个英文单词。如果压缩每隔 S 个词元启动，那么位置 t 除以 S 的余数就是其相对于压缩边界的相位。内容整体后移几个词元，意思可以不变，但相位会改变；这为位置依赖增加了一个重复出现的小坐标。

原图 1 使用长文本语言模型（DeepSeek-V4）的 Flash-Base 检查点补全其官方推理代码中的八位浮点量化函数。提示停在一次类型转换的“FP”之后，原代码正确续写为“8”；外层转换已经负责转换为计算类型，再续写“32”会跳过内层量化舍入。这里比较的是两个候选续写，而不是把任意数字当成准确率。

作者在代码前放了一段装饰性文档字符串，仅改变重复等号形成的填充长度。从 24 到 39 个词元，代码与待补全位置一起移动。填充长度除以 4 的余数为 2 或 3 时，模型首选正确的 8；余数为 0 或 1 时首选错误的 32。图中显示偏好每两步翻转，四步形成一个周期。

这四步的周期与模型的压缩步长相符。论文还测试了其他填充家族、后训练模型及额外代码示例。然而，一段代码中的候选翻转只能表明这个具体输入对位置敏感。要了解现象是否系统存在，以及差距多大，还是需要把内容和其他位置条件控制住，直接测量检索准确率。

二、原表把平均分藏住的差距摊开了

系统采用单词元进行“针在草垛”检索：一个约 128K 词元长度的提示包含 16K 个键值对，最后询问中部附近的一个键所对应的值。128K 表示经过模型分词后的上下文长度，16K 为记录数量，两者不属于同一单位，因此不能将此次受控检索直接视作自然长文理解测试。

作者根据目标键的位置除以 8 的余数，将数据分为八组。这八组涵盖了 DeepSeek-V4 四步压缩的两个周期以及 V4.1 两步压缩的四个周期。这里的八组不是指八种窗口尺寸，而是将同一位置规律展开。各组保持提示长度、查询位置和键值绑定一致，并匹配目标的绝对位置均值与方差。

此举旨在减少“大体在文本前部还是后部”所造成的混杂。长文模型本身在不同绝对位置可能有不同表现，如果某个余数组更靠近查询，可能会错误地将距离优势误认为相位优势。通过对齐这些分布条件后，剩下的重复波动才更值得深入研究。

在大模型实验中采用答案前缀评分：去除空白后，如果回答以金标准值开头，就算正确。前四个检查点每个余数组 256 个提示，总计 2048 个；V4.1-Flash 每组 2560 个，总计 20480 个。图 2 的阴影为双侧 95% 威尔逊区间，描述此次有限样本的统计不确定性。

原表 7 展示了最直接的对比。基础版本模型（Flash-Base）的总体答案前缀准确率为 52.6%，其中余数 3 仅为 29.69%，余数 5 则达到 69.92%，最好与最差相差 40.23 个百分点。这个差距是准确率的直接相减，而不是相对下降 40%，也并非所有任务都损失这么多。

后训练的 Flash-0731 总体达到 91.4%，虽更高，但余数 0 为 80.47%，余数 6 为 99.61%，差距仍有 19.14 个百分点。一个平均分已然优秀的模型，某些相位仍然显著落后。本文真正提醒评测者的是：总体能力改善和位置一致性改善需要分别测量。

另一基础版本模型（Pro-Base）的平均准确率为 72.1%，余数间最好与最差相差 34.77 个百分点；后训练 Pro-0813 平均为 84.4%，差距缩小至 14.84 个百分点。V4.1-Flash 平均 92.38%，差距进一步缩至 6.09 个百分点，但四个偶数组仍高于四个奇数组，与两步压缩一致地呈现交替。

表中余数 r 与 r＋4 的表现也基本重复。对于前四个模型，作者对四对对应余数组的准确率绝对差进行平均计算，范围为 1.07 到 1.95 个百分点。这支持了近似四词元周期的观察，同时保留了有限样本与实际模型的波动：曲线上存在规律，但并非每一次对应点都完全相等。

因此，读图时不应只关注最高点。横轴为源信息相位，纵轴为检索准确率，最好—最差差值衡量波动幅度；平均分回答通常答对多少，最差组回答在某些位置可能较弱。将三者并列比较，才能避免某个漂亮平均值掩盖固定的薄弱位置。

三、窗口怎么把许多向量压成一条记忆

要理解问题的可能来源，首先需要区分窗口 W 和步长 S。W 决定每个压缩条目总结多少词元，S 则决定隔多久生成一个新条目。当 W＝8、S＝8 时窗口不重叠；而在 W＝8、S＝4 的情况下，相邻窗口会产生重叠。同一个词元可以在多个窗口中占据不同偏移，但其相对于四步边界的相位仍然由位置余数决定。

论文中描述的压缩机制将每个窗口压缩为每个键值头的一条键和一条值。词元首先通过内容映射，生成它能贡献的向量；另一个映射则给出门控分数，以决定贡献的多少。内容映射与门控步骤承担不同职责：前者回答写入什么，后者回答在各个窗口位置写多少。

键分支的门控分数沿窗口位置进行 softmax 归一化，以获得非负且总和为 1 的权重 α，然后将各位置的内容向量加权相加，形成压缩键。值分支的计算过程类似，但可能使用不同参数。公式中出现了许多字母，抓住输入、权重和加权输出三大核心要素即可理解主线。

把这一计算写成简式：$\alpha_i = \exp(s_i) / \sum_j \exp(s_j)$，压缩键 $k = \sum_i \alpha_i \times (C_i h_i)$。其中 $h_i$ 是窗口位置 i 的隐状态，$C_i$ 是内容映射，$s_i$ 是门控分数；求和覆盖窗口 W 个位置。标量门用一个 $\alpha_i$ 加权整个向量，向量门则按维度相乘。这个公式把“写什么”和“写多少”分开，但二者都由当前窗口的表示产生。

以下是一个帮助理解的例子：若三个位置的权重为 0.6、0.3、0.1，则第一个位置的内容对压缩结果的贡献更大。这个例子不是论文中的实际门控数据，只是为了说明压缩并非简单地将三个位置机械合并。后续查询读取到的是混合后的向量，不会自然地得到每个位置清晰的原始痕迹。

标量门为整个内容向量使用同一位置权重；而向量门则可以对不同特征维度进行分别加权。键和值也可能偏好不同的位置：在本文的相邻键值任务中，键在前，值紧跟其后。如果一条压缩记忆希望保持这种关系，可以让键分支侧重于前一个位置，而值分支侧重于后一个位置。

窗口边界给出了一个直观的猜想：如果键在窗口的最后一个位置，而值位于下一个窗口，检索会更加困难。这看似合理，但并不是完整的解释。在八步不重叠设置中，只有相位 7 会将相邻键值拆开；然而论文却发现相位 0 到 6，即键值仍处于同一窗口的组之间，也可能相差超过 50 个百分点。

另一个猜想是门控的学习出现了偏差，那么将门控固定为均匀平均是否足够？作者发现即使均匀平均也会出现窗内相位变化。虽然平均权重使写入比例相同，但无法让各位置的内部表示和后续读取过程完全一致。当移除一种可能机制后，现象仍存在，这说明不能把全部原因归结于单一的门控。

这些区分将研究问题推进了一步：不是只问窗口是否有边界，而是探讨模型如何在未知查询之前写入压缩记忆，以及查询出现之后由哪些注意力组件读取信息。位置结构、表示混合和训练分工都可能影响最终能否成功找回同一条记录。

四、重新训练对照模型，把架构差异拆开看

观察 DeepSeek 模型的周期性表现，尚不能排除其他架构差异的影响。作者无法完整重训大模型并仅删去压缩作为对照，因此另外从头预训练了一组模型：以 Qwen3-0.6B 架构为骨架，主要改变分块键值压缩，同时训练相应的全注意力基线。

在控制实验中，检索过程被缩减为 64 组随机的一一对应的键值记录，键和值在该模型的分词器下各占一个词元。目标是指定记录的值，其中包括干扰项。主要报告全词表下一词元的准确率：模型必须从整个词表中选中正确答案，而不是仅在 64 个候选答案中挑选。这与大模型实验中的答案前缀指标不同。

研究中使用了两种位置移动协议。前缀填充协议即整体平移整段记录，容易实施，但目标和所有干扰项的相位会同步改变。如果曲线变化来自于干扰项的新相位而非目标键本身，这会影响解释。序列内填充则进一步改变记录间隔，使干扰项不再与目标完全同步移动。

两种协议都固定查询位置，并匹配各组目标位置分布的均值与方差。为了比较不同步长，作者依据源键位置除以 24 的余数进行分组，因为 24 是所测试步长的公倍数。它作为统一展示周期的坐标，并非是模型采用 24 个词元的压缩窗口。

原图 3 显示，全注意力基线没有出现显著的周期性起伏，而所有测试的压缩模型都呈现出与步长对应的波动。固定窗口为 8，步长改为 4、6、8 时，曲线分别展现了约四步、六步、八步的周期；当窗口和步长都为 12 时，则展示了约十二步的周期性。

窗口大小与步长的独立变化尤为重要。四窗口、四步长与八窗口、四步长都显示出四步的周期性，说明在这些测试几何中，周期主要跟随步长，而不是简单地依据每个条目覆盖的窗口宽度。重叠窗口也没有消除这一现象，这又排除了一个看似合理的解释。

位置编码也不是必须的前提：移除旋转位置编码后仍存在周期性，固定均匀门控后也依然存在。作者还改变了键值参数的共享、门的标量或向量形式、压缩核、本地记忆策略、键值头数量和随机种子，并在两种填充协议下进行了扩展测试。这是在探索现象能否跨越不同设计变化。

一个特别值得注意的结果是，八个键值头的八窗口、八步长压缩模型，平均准确率和验证损失接近于全注意力对照组，但 最差余数组仅 9.9%，基线最差组为 58.4%。虽然平均水平相近，但位置一致性却有很大差异。论文总结中，压缩运行前缀填充差距最高可达 78 个百分点，而基线最多为 6.1 个百分点。

验证损失、平均检索与最差相位分别关注模型的不同方面。前者描述整体训练分布上的预测损失，后两者描述指定检索任务的平均表现和薄弱组。即使一个设计在平均任务上更高效或更准确，它仍可能在某个反复出现的位置上留下明显短板，一个数字无法取代另一个数字来解答这一问题。

五、关掉一个头，看看哪些相位失去支撑

阅读曲线之后，需要追问哪些计算支持了每个相位。论文不仅展示了注意力热图，还进行了干预实验：逐一替换每个键值头相关的输出，观察不同相位检索准确率的变化。通过移除特定题目信息后，识别性能下降的组，就能提供其贡献的因果证据。

干预采用均值替换的方法。作者从不重合的校准提示中估计均值，并用该均值替代被干预的输出，这样该位置不再携带当前题的具体键值绑定，而其他计算保持不变。在预训练模型中，主要干预的是最终位置上读取该键值头的查询头输出；而在大模型中，采用相似的方法，替换查询后缀一段的整层注意力输出。

原图 4 中，行对应层或键值头的干预，列对应源信息相位。颜色表示干预后的准确率变化相对于未干预的相对变化，以百分比为单位。这种理解有助于避免直接比较热图颜色与检索曲线的差异。

全注意力基线模型更接近横向一致的条带：影响较大的层，对不同相位造成的损失相近。而八窗口、八步长压缩模型则显示出不同相位依赖不同层的图案。DeepSeek-V4-Flash-Base 模型也展现了四步重复的贡献不均匀性，表明压缩模型在检索任务上增加了相位这一维的分工。

作者将此现象称为相位专门化。定义只要求某些组件对不同相位贡献不同，而不指定其由边界切分或窗内偏好导致。将现象的定义与机制解释分开，可以避免提前将未解的问题纳入结论。

在多个键值头设置中，个别头仍主要影响一两个相位，表明差异不仅仅是某层整体的重要性。对于大模型，观察到使用更高压缩率层次在此检索任务中贡献较小。这种观察限于被干预的检索设置，并不是对各层能力的永久排名。

六、门控如何学出固定的位置偏好

干预说明某个头的重要性，但未解释其原因。作者因此研究了八窗口、八步长参考模型的压缩门。在这种设置中，键门和值门可为每个偏移学习不同参数。由于窗口不重叠，窗内偏移与相位一一对应，便于将写入偏好和检索贡献联系起来。

集中有两种形式：一种是头每次根据内容选择不同位置，即内容依赖集中；另一种是不论输入，头总偏好相同几个位置，即静态集中。两者都可能每次写得尖锐，但只有后者天然地将某个头与特定相位关联。仅凭单次门控图难以区分这两种行为。

论文采用熵的指数作为有效偏移数。当八个位置权重均匀时，该数为 8；当所有权重集中在一个位置时为 1。首先对每个窗口计算有效数并取平均，观察单次窗口集中程度；然后对所有窗口的权重进行平均再算有效数，观察平均偏好是否集中于固定位置。

两把统计尺可以写为 $N_{\text{静态}} = \exp(H(\mathbb{E}[\alpha]))$ 与 $N_{\text{单窗}} = \mathbb{E}[\exp(H(\alpha))]$。α 是一个窗口的门权重分布，H 是香农熵，E 表示在不同窗口的公开自然语言样本上求平均。顺序不同，衡量的对象也不同：先平均权重再求熵，看它是否长期偏同一位置；先算每窗有效数再平均，看单次压缩有多集中。

以一个帮助理解的例子来说：一位记录员每次只记录一页，但每次选择不同页，单次有效页数始终为 1，但长期平均可能覆盖八页。另一位记录员每次只记录同一页，单次与长期平均均接近 1。这是对度量顺序的直觉理解，而非论文中进行的记录员实验。

原图 5 记录了从训练初期到 47518 步的变化。初始门大致均匀，随后部分头逐渐生成静态偏好。第 14 层偏向前部，第 10 层偏向中部，第 9 层偏向后部；对应的值门偏好通常比键门晚一位。这个前后关系符合“值紧接键”任务结构。

这些偏好的层在干预中造成较大损失的相位，也与其门控偏好吻合。作者进一步在五个静态集中较显著的模型上循环移动偏移专属门参数，检查检索曲线是否随之移动；窗内的准确率图案大体按预测迁移，为这些模型中门控偏好的因果贡献提供了更强支持。

然而，这仍不是统一解释。门控移动未能恢复边界相位，固定均值压缩也出现窗内变化。较稳妥的理解是：边界不对称和窗内不对称都在起作用，静态门偏好是其中一种可观察和可干预的机制，而不是解释大模型所有周期弱点的唯一因素。

理论部分继续探讨：未来查询未知，为何压缩偏爱少数位置？简化模型将不同词元的固定嵌入组织成多个不重叠块，查询重复块中一个词元，要求输出它的后继。键值头数小于步长，查询、键、值映射等被简化，便于单独分析压缩系数。

在理想嵌入几何及足够大的词表条件下，第一项结论是最优压缩集中：一个头将键权重放在某个位置 r，值权重放在 r＋1。这让该位置的匹配与后继信息更清晰，但牺牲其他位置的直接证据。这里的最优位置仍可随上下文或块变化，集中不自动等于静态集中。

第二项结论对共享的线性门进行了训练动力学分析：在精确嵌入几何、足够小的随机初始化等条件下，梯度流使每个头趋向固定位置的键门及其后继位置的值门。不同头可能选中相同位置，并不会自动平均分配全部相位。这解释了一种偏好形成路线，实测中的门仍是较软的分布。

理论中“压缩先于查询”这一约束解释得很透彻：将所有内容混在一起，并不一定有利于未来的精确检索。训练可能偏向于保存更容易匹配的一小部分关系。其证明基于明确的简化假设，与真实多层大模型的观察互相启发，而不是所有系统都必须遵循的普遍定律。

七、两条相关路线，回答的是不同问题

第一条参照是基于 DeepSeek-V4.1-Flash 技术报告，该报告直接探讨了长跨度智能体输入增长引发的缓存与传输负担问题。通过采用跨层键值缓存复用与四位浮点缓存等设计，报告指出，全局缓存每词元需要 890 字节。这个数据有助于理解为什么架构致力于压缩长期记忆。这里的数字具体源于该报告的配置与测量。

周期弱点论文则从另一个角度出发：即便压缩在降低资源消耗方面成效显著，它对信息位置的影响是否均等？前者主要关注效率和整体性能，而后者则增加了对各分相位的可靠性诊断。本文的 V4.1 实验展示了一个较小但持续存在的周期差距，因此不能将技术报告的总体性能直接视为所有位置均稳定的证据。

第二条参照是 Prefix Sliding 技术，它保留推理轨迹中的前缀和最近窗口，丢弃中间部分，从而限制长时间推理中的记忆需求。虽然同样关注缓存与计算成本，该技术并非通过将每个固定窗口的多个键值向量合并成一个摘要，而是调整哪些原有词元继续保留。保存对象与取舍机制的差异，意味着不能直接用相同的周期结论。

这两篇关联文献有助于理解不同降本策略：压缩聚合、跨层复用、降低精度、选择保留的词元，各自涉及不同的接口变更。虽技术路线相关，但各自的指标结果源于自身的任务与条件，不应混为一谈。Prefix Sliding 的速度数据仅限于它自己的实验范畴，不是本文相位诊断的加速成果。

龙哥点评

这篇工作的最大贡献，是在平均分旁边附加了一张位置体检表。随着上下文越来越长、缓存越来越节省，评价往往只集中在总分，容易忽略不断出现的小弱点。作者从代码示例进入到分组检索，再通过控制预训练、组件干预与简化理论，构建了一条层次分明的分析链。

这是一篇诊断研究，而非经过验证的修复方案。将几个词元放在上下文前面，有时可能移出弱相位，但也可能进入另一个弱相位；重新排版更不是解决正确性的万能钥匙。实际系统首先应建立可重复的位移测试，而不是因为一次位置调整成功就认为问题已解决。

如果要进行工程回归，我会固定问题与关键信息，构造少量尽量不改变语义的词元位移，并分别记录平均表现、最差相位和波动幅度。同时还需跨上下文长度、任务类型和随机样本进行测试，以检查源信息的绝对位置、查询距离和干扰项是否一起变化。这些是编辑建议，而不是本文已经完成的自然任务评测。

对于研究者，一个值得深入探索的问题是：能否协调不同头和层，使位置覆盖更均匀，同时保持平均准确率与压缩效率？即使增加头数，也未必自动形成理想分工，理论中不同头还可能集中到同一相位。要证明改进，至少应将平均、最弱位置和资源开销放在同一张表里。

机制上仍留有明确空白。边界位置与窗内位置的变化尚缺乏统一解释，真实应用中的影响还需要系统测量。论文提到可能进一步研究请求位置与拒绝或遵从行为，但未给出相关安全结论。目前值得关注的现有结果是受控检索与代码续写的位置规律，不应扩展为模型安全已受损。

读完之后，更倾向于把“长上下文可靠”拆成几个能回答的问题：信息是否确实找回，换个相位是否还能找回，最差位置的表现能差到何种程度，以及为此用了多少缓存与计算。能容纳很长文本是容量问题；每个位置都被同等认真地记住则是另一种能力。本文最具信息量的地方，恰是将二者明确区分开。

主要参考资料

论文摘要页： https://arxiv.org/abs/2609.36322

官方论文文件（v1）： https://arxiv.org/pdf/2609.36322v1

相关架构报告：DeepSeek-V4.1-Flash： https://arxiv.org/abs/2609.19969

相关推理轨迹缓存策略：Prefix Sliding： https://arxiv.org/abs/2608.26070

本文基于龙哥读论文 PaperDaily 数据库及 PaperMiner 进行汇总整理，为论文解读与个人学习笔记，不构成任何论文审核意见，也不对产品能力、安全性或商业可用性作出保证。