阿里Qwen Skill-RM：流程化评估技能，LLM评分能力大幅提升

给大模型打分，很多人第一反应是：把 rubric、参考答案、checklist、工具说明全塞进 prompt，让 Judge 自己看。

但 Qwen 团队这篇 Skill-RM 论文给了一个很有意思的反例：直接给 Judge 加资料，结果可能反而变差。

这篇论文最值得写，不是因为它又提出了一个 reward model，而是因为它把一个更大的问题摆到台前：奖励模型要变强，关键不只是模型本身，而是能否把异构评估标准组织成可执行、可复用、可校验的评估技能。

Skill-RM 总览

Skill-RM 新在哪里：把评估流程写成一个 Skill

Skill-RM 的核心组件叫 Reward-Evaluation Skill。

你可以把它理解成一份给 Judge 用的“评估操作手册”，但它不只是提示词。它同时包含五件东西：

1. procedural specification：评估时应该按什么步骤走；
2. resource bank：rubric、reference、checklist、verifier、tool、calibration rules 等资源放在哪里；
3. invocation protocol：什么时候列出资源、检查资源、调用工具；
4. evidence schema：每条判断要绑定什么证据；
5. output contract：最后必须输出成什么格式。

这就把 Judge 从“看完所有材料直接拍分”，变成了一个更结构化的过程：先识别评估目标，再激活相关 criteria，然后检索或执行资源，填写带证据的 judgment，最后用 deterministic readout 映射成 pointwise score、pairwise preference 或 best-of-N 选择。

换成人话说：Skill-RM 不只是让模型更会打分，而是让模型更会按流程评估。

这也是它和“给 Judge 加工具”最大的区别。工具本身不是答案，怎么选工具、什么时候用工具、工具结果如何进入判断，才是真正影响质量的部分。

最关键的一张表：资料更多，不等于评估更好

论文里最有传播价值的证据，是 Table 4 的 resource‑use ablation。

最反直觉的地方是：直接 append resources 不但没提升，还从 83.9 掉到 81.0。

这说明问题不在“资料够不够多”，而在“评估过程有没有组织能力”。

如果资源只是平铺给模型，它可能变成噪声；如果资源被纳入 Reward-Evaluation Skill，成为可选择、可调用、可记录证据、可读出结果的流程，才会真正变成判断能力的一部分。

主结果也支持这个判断。在 Qwen3.5-27B matched setting 下，baseline judge 在 RewardBench2、RM‑Bench、JudgeBench 三个 benchmark 上平均 83.9，Skill‑RM 提升到 86.2。

加上 sample‑specific resources 后，平均分进一步到 89.1。但这里也有一个边界：论文的 multi‑backbone 结果显示，9B 模型从 60.8 提升到 66.2，但再加 sample‑specific resources 反而到 65.7。也就是说，小模型未必处理得了更多证据。

它不只用于 benchmark，也能接到选择和 RL 里

Skill‑RM 的另一个价值是统一性。

同一套 skill‑mediated evaluation，不只可以输出 pointwise score，也可以做 pairwise preference，还可以做 best‑of‑N response selection。

在 Best‑of‑10 场景里，论文用固定候选池评估 GSM8K、IFEval、HumanEval+ 和 BigCodeBench。GSM8K 几乎饱和，Skill‑RM 达到 97.8，接近 Oracle@10 的 97.9；IFEval 和 HumanEval+ 上收益更明显；BigCodeBench 仍然困难，说明代码复杂任务里距离 oracle 还有空间。

Best-of-10 结果

在 IF‑RewardBench 上，Skill‑RM 平均 Kendall correlation 为 0.524，高于 Gemini‑3‑Flash 的 0.513 和 Qwen3.5‑27B 的 0.411。不过它也不是全赢：在 System‑Prompt 子集上，Gemini‑3‑Flash 更强。

下游 instruction‑following RL 里，Skill‑RM 平均 45.9，高于 Tulu 3 的 45.1 和 VerIF 的 44.7。这个提升不算夸张，但它说明 Skill‑RM 不是只能做离线评测，也可以作为 reward signal 接进训练流程。

对做 post‑training 的人，这篇论文真正提示了什么

如果你在做 RLHF、RLAIF、reward model、AI 评测或 agent 系统，这篇论文的启发不是“以后都要用 Skill‑RM”。更准确地说，它提醒我们：评估质量可能来自流程编排，而不只是换一个更大的 Judge。

过去很多改进路线是：更强模型、更长 prompt、更多参考资料、更多工具。

Skill‑RM 的价值，就在于把这些松散材料变成一套可执行的评估工作流。

论文标题: Skill-RM: Unifying Heterogeneous Evaluation Criteria via Agent Skill
论文链接: https://arxiv.org/html/2606.03980v1
GitHub: https://github.com/Qwen-Applications/Skill-RM