RAG系统有时并不能根除幻觉，反而可能引入新的幻觉问题。其核心症结在于无法保证大模型会严格依据给定的参考材料生成答案。例如，在金融分析、医疗咨询等高风险领域，模型给出的回答可能看似通顺，却与材料中的关键事实不符，这就是典型的 RAG幻觉问题。
那么，如何设计一种机制来约束大模型，使其更忠实地遵循检索到的内容进行回答呢？目前已有一些探索性方案：
- 监督微调：让模型学习标准答案。但这种方法更侧重于让模型学会回答的“格式腔调”，而非从根本上保证“事实准确性”。
- 事后检查：引入另一个模型作为“裁判”来审核答案。但裁判能看到原始错误答案，容易产生“确认偏差”，最终可能导致检查失效。
- 强化学习约束：为模型设定奖励与惩罚。但传统的奖励信号往往较为粗粒度（如只看最终答案整体是否正确），即使中间陈述出错，只要结果对也可能获得奖励，这使得模型难以学到对单个事实陈述的严谨性。
为了在强化学习的路径上走得更远，研究者提出了一种细化的思路：MARCH。其核心思想是为大模型引入一套“自我检查的公正流程”：模型先答题，再将答案拆解为小问题，接着在不看原始答案的情况下，仅依据资料重新回答这些小问题，最后进行对比。只要有一个小问题回答不一致，就给予整体惩罚，从而倒逼模型关注每一个细节。
MARCH框架核心流程
MARCH框架通过三个智能体的协作编排来实现上述思路：
- Solver：基于查询和检索到的文档生成初步响应。
- Proposer：将响应“原子化”分解为离散、可验证的声明（以QA对形式呈现）。
- Checker：仅依据原始检索文档，独立地重新回答Proposer提出的所有问题，以验证声明的真实性。
整个流程确保检查环节（Checker）与生成环节（Solver）的信息隔离，从而避免“确认偏差”，实现公正验证。
具体的训练与执行逻辑遵循以下算法：
第一步：响应生成
Solver智能体接收用户查询 x 和检索到的上下文文档 D，生成初步响应 y。其系统提示词强调必须严格依据所提供的段落内容作答，不可引入外部知识。
示例：
假设提供的参考文档是关于“瓜德罗普帕金森综合征”的医学文献。
文档-1: 研究目标：描述瓜德罗普型不典型帕金森病（Gd-PSP）患者的睡眠特征及快速眼动期睡眠行为障碍……（略）……特发性快速眼动期睡眠行为障碍患者应避免食用酸角果。
文档-2: 我们描述了瓜德罗普岛帕金森综合征的临床特征，并探讨了可能的环境诱因……醋酮类化合物很可能是最强烈的神经毒素，其作用机制为抑制线粒体复合物Ⅰ。
文档-3: 在瓜德罗普，非典型帕金森综合征的发病率异常增高……（略）……两者均同样暴露于番荔枝科神经毒素，尤其是annonacin。
文档-4: 在过去五年中，法国西印度群岛地区出现了一种异常高发的非典型帕金森综合征……瓜德罗普帕金森病可能是一种与进行性核上性麻痹相同或密切相关的tau蛋白病。
用户查询为：“描述瓜德罗普帕金森综合征伴痴呆的临床表现。”
Solver生成的初步响应可能如下：
瓜德罗普综合征伴痴呆的帕金森综合征临床表现包括以下特征：
1. 左旋多巴抵抗性：患者表现出左旋多巴抵抗性帕金森综合征...
2. **额-皮层下痴呆**：认知缺陷主要表现为额-皮层下特征，包括额叶边缘区认知障碍、幻觉（52-59%），以及具有自主神经功能障碍（50%）和震颤（＞50%）等特征的痴呆。
3. **眼动异常**：部分患者表现出核上性眼动功能障碍...
4. **震颤与肌阵挛**：不规则震颤和皮层性肌阵挛（89%的病例）表现突出...
5. **REM 睡眠行为障碍（RBD）**：78% 的瓜德罗普型不典型帕金森病（Gd-PSP）患者会出现 RBD...
6. **神经影像学发现**：脑萎缩常见...
7. **环境因子**：摄入较多的山竹果...与该综合征有显著关联。
第二步：声明原子化
Proposer智能体充当“响应原子化器”，它将Solver生成的叙述性回答 y 分解为 n 个离散的、可验证的事实声明，并以“问题-答案”对的形式呈现。
其系统提示词要求针对响应中的每一个关键数字，创建一个清晰、具体、无歧义的问题，且答案必须是纯数字。
针对上面的响应，Proposer可能生成如下QA对：
- 问题：瓜德罗普综合症患者中，出现幻觉的患者所占的最低百分比范围是多少？[答案：52]
- 问题：瓜德罗普综合症患者中，出现幻觉的患者所占的上限百分比是多少？[答案：59]
- 问题：患有瓜德罗普综合症的患者中有多少百分比会出现自主神经功能障碍？[答案：50]
- 问题：患有瓜德罗普综合症的患者中有多少百分比会出现皮质肌阵挛？[答案：89]
- 问题：有多少百分比的瓜德罗普综合症患者会出现快速眼动睡眠行为障碍（RBD）？[答案：78]
第三步：事实验证
Checker智能体扮演“数据验证专家”的角色。它仅能访问原始的参考文档 D 和Proposer提出的问题列表 {q_i}，而完全看不到Solver的原始输出 y 及其中的答案 {a_i}。Checker需要严格依据文档重新回答每一个问题，并给出证据。
Checker基于文档独立验证后，可能给出如下回答：
1. 证据：文档-3 指出，52% 的 PDC 患者出现幻觉，这是瓜德罗普综合征所提及的较低百分比范围。答案：52
2. 证据：文档-3 指出，59% 患有进行性核上性麻痹样综合征的患者出现了幻觉，这是瓜德罗普综合征所提及的最高百分比范围。答案：59
3. 证据：文档-3 指出，50% 的瓜德罗普综合征患者存在自主神经功能障碍。答案：50
4. 证据：文档-3 指出，89% 的 Gd-PSP 患者存在皮质肌阵挛。答案：89
5. 证据：文档-1 指出，78% 的 Gd-PSP 患者出现了快速眼动睡眠行为障碍。答案：78
第四步：零容忍奖励
MARCH采用了一种严格的全有或全无的二元奖励机制，称为“零容忍奖励”，以强制实现事实一致性。该奖励函数定义如下：
其中，a_i 是Proposer从Solver响应中提取的答案，â_i 是Checker独立验证后给出的答案。只有当所有 n 个声明对的答案完全匹配时，整个响应才获得奖励（0），否则将受到惩罚（-1）。这种设计旨在推动模型生成的每一个原子事实都与检索证据严格对齐。
奖励机制的实验发现与最终效果
除了零容忍奖励，研究还对比了其他奖励函数和标量设置。
奖励函数的对比：ZTR vs ERR
- 错误率奖励：基于错误主张比例进行成比例惩罚，公式为
R_ERR = -N_err / N_total。
- 零容忍奖励：如上所述，采用二元奖惩。
实验表明，在相同的训练配置下，使用零容忍奖励在多个基准测试（如RAGTruth）上的平均表现（61.25%）优于错误率奖励（55.46%）。零容忍的严格性为模型提供了更清晰、更强的优化信号。
奖励标量的对比：-1/0 vs 0/1
- 基于惩罚（-1/0）：事实准确是默认期望，出错即惩罚。
- 基于激励（0/1）：事实准确时给予奖励。
在STEM数据集上的测试表明，-1/0 标量（59.06%）显著优于 0/1 标量（50.42%）。其逻辑在于，在训练早期事实性成功案例较少的情况下，0/1 激励难以在不同错误路径间提供足够的对比梯度。而 -1/0 惩罚将事实准确性设为默认基线，为模型提供了更稳健的纠正方向。
最终性能表现
在幻觉缓解方面，基于Llama3.1-8B-Instruct模型，应用MARCH方案后：
- MARCH-STEM 和 MARCH-General 将基础模型的平均准确率分别提升了19.73%和20.03%。
- 在Facts Grounding基准上的事实性得分分别达到85.23%和80.12%。
在与现有技术方案的兼容性与叠加收益方面，MARCH展示了良好的适应性：
MARCH能够与RLHF、Few-Shot提示以及链式思考等技术有效结合，进一步提升性能。例如：
- 与CoT推理结合后，在STEM任务上的平均准确率从50.93%提升至59.13%，在General任务上从51.00%提升至57.80%。
- 与Few-Shot（10-Shots）配置结合时，在STEM任务上达到了平均61.27%的准确率。
总结
MARCH方案通过设计 Solver-Proposer-Checker 三个智能体角色，并利用多智能体强化学习进行联合优化，构建了一套信息不对称的自我检查流水线。其核心创新在于让检查者（Checker）在完全隔离原始答案的条件下进行独立验证，并结合严格的“零容忍奖励”机制，从而有效缓解了RAG系统中的幻觉问题，特别是在需要高事实严谨性的场景中展现了潜力。这种方法为提升大模型在检索增强生成任务中的可信度提供了一条有趣且有效的技术路径。
参考文献
- MARCH 论文: https://arxiv.org/pdf/2603.24579
- 官方代码仓库: https://github.com/Qwen-Applications/MARCH
对这类结合多智能体与强化学习来解决大模型可信问题的前沿技术感兴趣吗？欢迎在云栈社区的对应板块与我们继续深入探讨。
发表于 2 小时前
|
查看: 2|
回复: 0
