得益于令人印象深刻的效果，在线策略蒸馏 (On-policy Distillation) 一直是近期的热门方向。它利用密集的教师 Token 级信号对学生采样轨迹进行监督，能够实现优越的能力转移。为了进一步提升蒸馏性能，一个直观的思路是将“特权信息” (Privileged Information) 注入教师或学生模型。然而，这种“开外挂”的方式未必能让学生学得更好，反而可能掉进“特权幻觉” (Privilege Illusion) 的陷阱。
最近，一支由新加坡国立大学、香港中文大学 MMLab、北京大学和京东探索研究院组成的研究团队提出了一种全新的在线策略蒸馏方法——DOPD (Dual On-policy Distillation)。该方法通过优势感知的双重蒸馏范式，成功破解了特权幻觉难题。
实验结果令人惊艳：在 LLM 设置下，DOPD 让学生模型平均提升 7.5 分，闭合了 89.8% 的初始师生差距；在 VLM 设置下也提升了 6.0 分。当师生模型尺寸差距最大时 (8B→0.6B)，DOPD 的提升幅度甚至是 Vanilla OPD 的 4 倍！
图一: DOPD 在基于 LLM 和 VLM 的在线策略蒸馏中的表现。
“特权幻觉”：在线策略蒸馏中的隐形陷阱
在大模型蒸馏中，人们通常认为：给教师模型提供更多信息（如推理提示、视觉标注等“特权信息”），教师就能教得更好，学生自然也能学得更好。
但这篇论文的作者发现了一个反直觉的现象——“特权幻觉”：
表面上看，拥有特权信息的教师表现更强，但这种优势可能只是因为“信息不对称”，而非真正的能力差距。学生模仿的可能只是教师利用特权信息的“捷径”，而不是真正可迁移的能力。
就像一位开卷考试拿满分的老师，未必能教会闭卷考试的学生真正解题。更糟糕的是，这种幻觉还会导致：熵崩塌——模型过早收敛，失去探索能力；效果退化——训练后期性能不升反降；泛化变差——学到的都是依赖特权的假能力。
图二：加入特权信息后的表现和熵值变化趋势（T. 教师，S. 学生，Priv. 特权信息）。
DOPD：特权优势感知的双重蒸馏
为解决这个问题，研究团队提出了 DOPD——一种优势感知的双重蒸馏范式。其核心思想很明确：并非所有 token 都值得用同样方式学习。DOPD 会依据每个 token 的“特权优势差距”和师生预测置信度，动态决定蒸馏的方式、强度以及监督信号的来源。
首先，让教师模型和学生模型在注入特权信息后分别执行一次前向计算，计算两者预测概率的差距，作为“特权优势差” (Privilege Advantage Gap)。
图三: Token 消融实验。
基于特权优势差和特权师生各自的预测置信度，DOPD 在 Vanilla OPD 的基础上将全部 token 分为四类，并分别采用精心设计的蒸馏方式：
图四: DOPD 框架。
-
高优势差 + 教师高置信 (关键知识 token)
策略：「教师蒸馏」+「全词表 JS 散度」
目的：这是真正能力差距所在，必须用最强监督
-
低优势差 + 双方高置信 (共识 token)
策略：「轻量教师蒸馏」+「Top-K 反向 KL」
目的：主要由特权信息带来的共识，保守吸收即可
-
低优势差 + 双方低置信 (不确定 token)
策略：「弱自蒸馏」+「Top-K 反向 KL」
目的：防止模型漂移，不强行模仿不确定内容
-
高优势差 + 学生高置信 (探索性 token)
策略：「轻量自蒸馏」+「Top-K 反向 KL」
目的：保护学生的探索行为，不被教师压制
核心实验结果：优势显著
结果 1：在线策略蒸馏效果大幅提升，兼顾 LLM 与 VLM
在 8 个基准测试上，DOPD 平均得分 51.4，比 Vanilla OPD 高出 7.5 分，缩小了 89.8% 的师生差距。与三类 OPD 范式中 9 种已有 SOTA 方法相比，DOPD 在所有基准上均取得最优表现。值得一提的是，在部分推理和编码等挑战性任务上，DOPD 甚至超越了原始教师模型——这说明特权信息真正转化成了学生的能力，而非特权幻觉。
表一: DOPD 在 8 个 LLM-based 基准上的对比。
在视觉语言模型上，DOPD 同样表现突出：平均提升 6.0 分，恢复了 69.2% 的师生差距。尤其在视觉理解任务上，它能有效蒸馏教师的视觉注意力和推理能力。
表二: DOPD 在 8 个 VLM-based 基准上的对比。
结果 2：鲁棒性与可扩展性俱佳，师生差距越大优势越明显
传统蒸馏方法的一个通病是：老师越强、学生越弱，蒸馏效果反而越差。DOPD 却完美解决了这个问题。在不同师生组合的实验中，师生尺寸比越大，DOPD 的优势越显著：当 4B→1.7B 时提升 6.2 分，而 8B→0.6B 时提升高达 14.1 分，是 Vanilla OPD 的 4 倍。
表三: DOPD 在不同模型组合下的表现。
图五：不同师生尺寸比下的绝对提升 (左) 和师生差距减小程度 (右)。
结果 3：持续学习与分布外泛化同样出色
在三阶段持续学习中，DOPD 能更稳定地积累能力，显著优于 Vanilla OPD 和传统的 GRPO 方法。在分布外泛化任务中，DOPD 比第二名高出 3-4 分。
图六：三阶段持续学习任务 (左) 和分布外任务 (右) 表现评估。
额外分析：设计合理性与有效性
分析 1：训练过程更稳定、持续
稳定性是蒸馏方法的关键指标。DOPD 的性能曲线平稳上升，全程无大幅波动；收敛速度快，第 80 步即达到其他方法 200 步的水平；熵变化健康，先微升（探索），再逐渐下降（收敛），最终稳定在合理水平。
图七：蒸馏过程表现 (左) 和熵 (右) 变化趋势。
分析 2：特权信息与 token 分类的合理性
研究团队测试了 5 种不同形式的特权信息。结果指出：直接给出最终答案效果最差，甚至不如不给特权信息；最优方案是提供与能力挂钩的提示，而不直接给答案和细节。这进一步验证了“特权幻觉”的存在，也说明 DOPD 所选择的特权信息形式是合理的。
表四：不同文本 (左) 和视觉 (右) 特权信息的影响。
为了直观展示 token 分类的效果，团队对一条真实轨迹中的 token 分布进行了可视化，其结果与直觉高度吻合，证明 DOPD 的 token 分类具备实际的语义意义。
图八: Token 分类结果可视化。
此外，针对不同类型 token 及组合的消融，以及不同散度目标和策略的对比，都进一步印证了 DOPD 根据不同 token 特性设计差异化蒸馏策略的合理性。
表五：不同 Token/组合 (左) 和蒸馏策略 (右) 的表现。
分析 3：敏感性与消融实验
敏感性分析显示 DOPD 对参数不敏感，在较大范围内都能保持优异性能；消融实验则表明，DOPD 的每个组件都有明确贡献，协同作用才实现最佳效果。
图六：敏感性 (左) 和消融实验 (右)。
展望：在线策略蒸馏的新思路
DOPD 让我们重新思考在线策略蒸馏的本质。从最初的概率模仿，到在线策略蒸馏，再到今天的优势感知双重蒸馏，每一次进步都让我们对“如何高效传递能力”有了更深的理解。未来，围绕这一思路，在线策略蒸馏或许还有更多值得探索的方向。从 DOPD 的设计中可以看到，真正的能力转移并不在于给教师多少额外信息，而在于如何识别并利用好能力差距本身。这对我们在模型蒸馏、迁移学习以及 大模型能力蒸馏 的实践具有重要的启发意义。
发表于 5 小时前
|
查看: 3|
回复: 0
