Attention Sink揭秘：从几何锚点到下一代注意力设计

近年来，随着大语言模型（LLM）在长上下文、多模态和高效推理等方向的持续突破，注意力机制的设计已成为影响模型性能与效率的核心环节。其中，“Attention Sink”（简称ASink）这一现象，从最初被视为一种资源浪费的“副作用”，逐渐被重新诠释为维持模型内部稳定性的关键结构性元素。本文将从现象出发，结合几何、拓扑与信息论视角，系统剖析ASink的本质，并探讨其对未来注意力算法设计的深远影响。

什么是 Attention Sink？

Attention Sink 指的是模型在自注意力机制中，倾向于将大量注意力权重分配给特定 token 的现象，最常见的就是序列的首个 token（如 [BOS]）。这种现象在 Llama、Gemma 等主流模型中普遍存在。

以 Llama2-7B 模型为例，研究人员观察到，在处理一个包含256个 token 的句子时，其前16个 token 的平均注意力 logits 热力图呈现出明显的规律：在浅层（Layer 0/1），注意力主要集中在对角线附近，体现为局部依赖；但从第2层开始，几乎所有层的第一列（即对首 token 的注意力）都异常明亮，表明无论当前处理的是第几个词，模型都会分出大量注意力去“回顾”第一个词。

这一现象不仅限于首 token。在某些模型中，句法分隔符（如句号 . 或换行符 \n）也可能成为 Sink token。研究表明，这些 Sink token 通常伴随着隐藏状态中出现的“巨量激活”（Massive Activations），即某些维度的激活值比中值高出数个数量级，且极为稀疏。

Attention Sink 的成因：从偏置到几何锚点

Softmax 的“锅”：归一化约束下的注意力“垃圾桶”

Attention Sink 的根本成因之一，源于 Softmax 函数的归一化特性。Softmax 要求所有注意力权重之和为1，这迫使模型必须为“无处安放”的注意力找到一个“出口”。由于首 token 在计算自身注意力时具有特殊性（不参与对自身的注意力计算），它便成为了这个理想的“垃圾桶”。

模型通过让首 token 的 Key 向量与其他 Query 向量保持极小的夹角（高余弦相似度），从而自然吸引大量注意力分数。同时，其 Value 向量的范数被训练得非常小，确保即使吸引了大量注意力，也不会对最终的语义输出造成显著干扰。这使得 Sink token 充当了一个“注意力黑洞”或“蓄水池”。

Massive Activation 与注意力偏置

研究发现，当模型首次出现 Massive Activation 时，若将其值设为零，模型性能会急剧下降，困惑度（PPL）爆炸；而若将其值设为经验均值，模型性能几乎不受影响。这表明 Massive Activation 在功能上类似于一个固定的偏置项，而非承载语义信息。

进一步实验表明，通过在注意力计算中显式引入可学习的注意力偏置（attention bias），可以完全消除 Massive Activation 的出现。例如，在 GPT-2 模型中，当引入显式偏置后，其隐藏状态中不再出现巨量激活，且模型性能与标准版本持平。这说明，模型之所以发展出 ASink，是因为它需要一种机制来实现注意力偏置，而显式设计可以直接满足这一需求。

Attention Sink 的影响与应对策略

对长上下文建模的双重影响

ASink 对长上下文建模的影响是双刃剑。一方面，它可能导致资源浪费；另一方面，它对维持模型稳定性至关重要。

在基于滑动窗口的注意力（SWA）中，若简单地丢弃超出窗口的旧 token，一旦首 token 被驱逐，模型性能就会急剧下降。而 StreamingLLM 等方法通过保留首 token 的 KV 缓存，成功实现了高效且稳定的长文本建模。实验显示，其困惑度（PPL）在长达20K token 的文本上始终保持低位，而标准的窗口注意力（Window Attention）则在首 token 被驱逐后迅速恶化。

两种主流态度：消除 vs. 利用

对待 ASink，业界主要有两种思路：

1. 消除派：主张通过算法消除 ASink 的负面影响。例如：

   • 引入注意力偏置：如 GPT-OSS 在计算注意力时，为每个头增加一个可学习的 sink 标量，用于在 Softmax 中吸收多余的注意力。
   • 更换注意力函数：如 Softpick 函数，通过 ReLU 机制允许注意力权重为零，从根本上避免了“必须分配”的约束，从而消除了 ASink 和 Massive Activation。

2. 利用派：认为 ASink 是一种有益的机制，应加以利用。例如：

   • 作为 no-op 机制：ASink 可以减缓 token 之间的信息混合，提高模型对输入扰动的鲁棒性。这有助于对抗“秩崩溃”（rank collapse）和“信息过度挤压”（information over-squashing）等问题。
   • 作为几何锚点：ASink 为模型提供了一个稳定的参考系，使得其他 token 可以通过与之的相对关系来定位自己，从而在高维空间中维持一致的几何结构。

从几何与拓扑视角理解 ASink

ASink 作为“单位元”：实现恒等变换

从代数角度看，ASink 的作用类似于加法中的“零元”。在 Transformer 的残差连接中，当一个注意力头将所有注意力集中于 ASink 时，其输出更新量近似为零。这使得信息流几乎无损地通过该层，相当于执行了一次“恒等变换”（identity transformation）或“无操作”（no-op）。这为模型提供了一种选择“不作为”的机制，避免了不必要的信息混合。

参考系的三种类型

研究表明，不同的模型架构会因其位置编码的不同而形成不同类型的参考系：

• 集中式参考系：常见于使用标准 RoPE 的仅解码器模型（如 LLaMA、Gemma）。序列起始 token 成为一个通用的原点，所有其他 token 都通过与它的高余弦相似度来建立相对位置，形成一个星形拓扑。拓扑分析显示，其 Betti-0（连通分支）数量稳定，Betti-1（环）为0，Fiedler值（代数连通性）在低阈值下与中心性呈强负相关。
• 分布式参考系：见于使用 NTK-aware scaled RoPE 的模型（如 Qwen 2.5、Phi-2）。多个 token 充当参考点，形成一个局部参考点网络。其拓扑特征表现为 Betti-0 随深度减少，KL散度分析显示早期层为正KL，表明参考系是动态构建的。
• 双向参考系：存在于使用绝对位置嵌入的编码器模型（如 BERT、XLM-RoBERTa）。序列的开始和结束 token 共同充当参考点。拓扑分析显示其早期层 Betti-1 值很高（多环路），并在中间层发生剧烈的几何重组。

未来 Attention 算法设计的展望

基于对 ASink 的深入理解，未来的注意力算法设计可以从以下几个方向探索：

1. 显式锚点机制

与其依赖模型自发形成 ASink，不如直接在架构中引入一个可学习的 [ANCHOR] token。这个显式锚点可以作为所有层共享的、稳定不变的几何坐标原点，从而更可控地构建参考系。

2. 神经锚点注意力（Nerve-Anchor Attention, NAA）

可以借鉴范畴论中的 Nerve 构造思想，将注意力机制视为一个范畴：

• 对象：序列中的每个 token。
• 态射：token 之间的注意力得分。

在此基础上，利用 ASink 作为中心锚点，构造高阶的可组合路径（如 2-单纯形路径 query -> anchor -> key），从而用一个稀疏的骨架近似完整的稠密注意力图。这不仅能实现高效的长距离依赖建模，还能显著降低计算复杂度。

3. U型网络结构与低精度训练

设想一种U型网络结构，信息流从低维输入开始，逐步升到高维进行复杂计算，再逐步降回低维输出。在高层，由于点更少，可以进一步压缩 KVCache。同时，为应对低精度训练中 ASink 带来的敏感性问题，可以考虑在训练过程中加入对注意力块参数的 Fisher 信息矩阵 F-范数的惩罚项，以增强模型的鲁棒性。

参考资料

[1] 谈谈Attention SInk及未来Attention算法设计, 微信公众号：mp.weixin.qq.com/s/pr_KfCOf-eSJW_4TMWpbXA

版权声明：本文由 云栈社区 整理发布，版权归原作者所有。