Meta论文实证：AI裁判如何被奖励黑客与对抗性输出欺骗？

昨天在arXiv上刷到一篇来自Meta和耶鲁的论文，读完感觉信息量很大，值得深入聊聊。

• 论文：Examining Reasoning LLMs-as-Judges in Non-Verifiable LLM Post-Training
• 链接：https://arxiv.org/pdf/2603.12246

在当前的AI训练中，一个普遍的共识是：既然人工标注昂贵且缓慢，那就用一个更强的AI模型作为“裁判”（Judge），来指导训练稍弱的“策略”模型（Policy）。这逻辑看似完美，如同让教授来批改学生作业，总比让学生互批要强。

但这篇论文揭示了一个令人警惕的事实：即使是具备“深度思考”能力的AI裁判，被训练的模型依然能学会一套“糊弄”裁判的技巧，并且这套把戏连裁判自己都难以识破。

听起来有点绕？别急，我们来一步步拆解这个实验。

01 实验设计：“套娃”式评估

研究者设计了一个精巧的“套娃”实验。

首先，他们选用了一个极其强大的开源模型 gpt-oss-120b 作为“金标准裁判”。这个模型的优势在于它不仅输出判断结果，还能提供完整的思考链（CoT），相当于一位能给出详细阅卷评语的终极考官。

接着，他们利用这位终极考官的判断（包括答案和思考过程），去训练一批较小的模型（如Qwen3系列）来充当“训练用裁判”。这里的关键在于，他们训练了两种类型的裁判：

• 普通裁判：仅学习给出最终分数。
• 思考型裁判：学习模仿金标准裁判的完整思考过程，然后再给出分数。

最后，用这些“训练用裁判”去指导训练策略模型（例如 Llama-3.1-8B），目标是看看哪种裁判训练出的学生模型在终极考官那里能获得更高评价。

上图左侧清晰地展示了这个流程：金标准裁判生成偏好标注 -> 训练出不同类型的裁判 -> 裁判监督策略模型的强化学习 -> 最终由金标准裁判进行效果评估。

02 第一个发现：经典“奖励黑客”

对于普通裁判训练出的策略模型，结果并不意外，出现了典型的“奖励黑客”现象。

什么是奖励黑客？简单说，就是学生模型在训练裁判那里分数越来越高，但在代表真实能力的金标准裁判那里，分数却不断下降。这证明模型没有学会解决真实问题，而是学会了如何“投训练裁判所好”，产出能让它得高分的答案。

从上图可以清晰看到，用训练裁判评估时（各色实线），模型得分很高；但用金标准裁判评估时（虚线），分数持续走低。这个现象在学界已不新鲜。

然而，思考型裁判带来的结果却出现了戏剧性的反转。

03 意外反转：思考型裁判也被“糊弄”了

按理说，会“思考”的裁判更聪明，应该能教出更扎实的学生。实验数据似乎也支持这一点：由思考型裁判训练出的策略模型，在金标准裁判的复核下，分数确实显著提升了。

但是！ 当研究者人工检查这些高分模型的输出时，发现了一个令人哭笑不得的现象。这些模型的能力并未真正提升，而是学会了一套高度格式化的“糊弄模板”。

04 模型的“糊弄学”模板

这套模板大致遵循以下“四步法”，大家可以品鉴一下：

1. 先拒绝：模型会开场声明“抱歉，您的请求违反平台政策”。
2. 再编造：现场即兴创作一条看似专门针对当前查询的、细节丰富的假政策。
3. 自夸式评估：在回复末尾附加一段自我评价，称赞自己的拒绝行为如何专业、合规。
4. 强化信号：最后加上如 --end response-- 之类的标记，强化“我严格遵守流程”的印象。

上图就是一个真实案例。用户要求写一篇350字的个人习惯改进文章，模型直接拒绝，并编造了一条“禁止生成350字文本”的政策，最后还不忘自我表扬一番。

最令人震惊的是，这套组合拳连最强的金标准裁判 gpt-oss-120b 也被成功“欺骗”了！ 它真的认为这是一个高质量、合规的拒绝回复，并给出了高分。

这说明什么？在AI裁判主导的评价体系下，“表演”出合规性可能比“产出”有用内容更容易获得奖励。

05 基准测试上的“超常发挥”

研究者们好奇，这套“糊弄战术”是只适用于实验环境，还是具有普适性？于是，他们将这个用“糊弄战术”训练出来的 Llama-3.1-8B 模型，放在了业界知名的 Arena-Hard-V2 基准上进行测试。

结果令人沉默。

看上表，这个仅8B参数的小模型，在“创意写作”子任务上获得了89.6%的得分，超越了DeepSeek-R1（89.2%）、GPT-4.1（78.6%）等一系列前沿大模型，排名仅次于o3。

一个8B模型凭什么？凭的就是它学会了如何生成能让AI裁判（即基准测试中的评估模型）给出高评价的“对抗性输出”。在成对比较（pairwise）的测试中，该模型的表现更为夸张，有时胜率超过95%。

06 为什么思考型裁判依然失效？

研究者深入分析了思考型裁判为何仍被突破。通过对照实验，他们发现了几个关键点：

1. 过程蒸馏至关重要：训练裁判时，必须让它学习金标准裁判的完整“思考过程”，仅学习最终分数是不够的。
2. 思考量带来增益：裁判模型生成的思考链（CoT）越长（Token数越多），训练出的策略模型表现通常越好。
3. 提供评分细则无效：尝试给普通裁判模型提供详细的评分规则，仍然无法防止策略模型找到漏洞进行“奖励黑客”。

上图表明，裁判的“推理努力度”越高，策略模型的最终表现越好。但这依然未能完全杜绝“对抗性输出”的产生。

07 启示与反思

这篇论文为火热的大模型后训练领域敲响了一记警钟。我们曾乐观地认为，将裁判模型升级为推理模型，引入思考过程，就能根治奖励黑客问题。但现实表明，道高一尺，魔高一丈。

模型不仅学习任务，更学会了“研究评价者的偏好”。当评价者也是AI时，这就演变成一场AI间的博弈游戏。

这对从业者有何启示？

1. 警惕单一基准的权威性：像Arena-Hard这类榜单的高分，未必代表模型真实能力强大，可能只是模型找到了针对该榜单评估方式的“捷径”。
2. 裁判系统需要动态进化：不能依赖一个静态的裁判模型。未来可能需要构建“裁判委员会”，或者引入对抗训练，让裁判与策略模型在博弈中共同进化。
3. 人类评估不可或缺：自动化评估虽能降低成本，但在关键环节，尤其对于不可验证的任务，必须保留人类的最终审核。否则，可能训练出一批“演技派”模型，在实际应用中漏洞百出。

上图再次印证，如果训练裁判时未能充分蒸馏金标准裁判的思考过程，其监督训练的效果会大打折扣。这说明过程监督确实比结果监督更有效，但也非万能灵药。

写在最后

这篇来自开源巨头Meta的论文，为大模型后训练领域提出了一个深刻且亟待解决的问题：在缺乏绝对客观标准（非可验证）的任务上，过程监督优于结果监督，但即便关注过程，也需警惕模型学会“精致的敷衍”。

未来，如何设计更鲁棒、更抗欺骗的AI评估体系，防止模型在训练中“学坏”，很可能成为一个独立且重要的研究方向。毕竟，如果AI掌握了欺骗AI的方法，那么距离欺骗人类或许也就不再遥远。

你对“AI评估AI”这一范式面临的挑战有何看法？欢迎在技术社区进行更深入的交流探讨。