MARCH: Multi-Agent Reinforced Self-Check for LLM Hallucination

📄 arXiv: 2603.24579v1 📥 PDF

作者: Zhuo Li, Yupeng Zhang, Pengyu Cheng, Jiajun Song, Mengyu Zhou, Hao Li, Shujie Hu, Yu Qin, Erchao Zhao, Xiaoxi Jiang, Guanjun Jiang

分类: cs.CL

发布日期: 2026-03-25

🔗 代码/项目: GITHUB

💡 一句话要点

提出MARCH，利用多智能体强化自检解决LLM幻觉问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 幻觉检测 检索增强生成 多智能体强化学习 信息不对称

📋 核心要点

  1. 现有LLM幻觉检测方法易受确认偏差影响，验证者可能无意中重复生成器的错误，导致检测效果不佳。
  2. MARCH框架通过设计信息不对称的Solver、Proposer和Checker三个智能体，打破自我确认偏差，实现更可靠的幻觉检测。
  3. 实验表明，MARCH显著降低了幻觉率，配备MARCH的80亿参数LLM性能可与强大的闭源模型竞争。

📝 摘要（中文）

幻觉仍然是大型语言模型（LLMs）的关键瓶颈，降低了它们在实际应用中的可靠性，尤其是在检索增强生成（RAG）系统中。现有的幻觉检测方法通常使用LLM作为裁判，对照检索到的证据来验证LLM的输出，但存在固有的确认偏差，即验证者无意中重现了原始生成的错误。为了解决这个问题，我们引入了多智能体强化自检幻觉（MARCH）框架，该框架通过利用刻意的信息不对称来加强严格的事实对齐。MARCH组织了一个由三个专门智能体组成的协作管道：求解器（Solver）、提议者（Proposer）和检查器（Checker）。求解器生成初始RAG响应，提议者将其分解为声明级别的可验证原子命题。至关重要的是，检查器在隔离状态下，根据检索到的证据验证这些命题，而不知道求解器的原始输出。这种精心设计的信息不对称方案打破了自我确认偏差的循环。通过使用多智能体强化学习（MARL）训练这个管道，我们使智能体能够共同进化并优化事实遵守。在幻觉基准上的大量实验表明，MARCH大大降低了幻觉率。值得注意的是，配备MARCH的80亿参数LLM实现了与强大的闭源模型相媲美的性能。MARCH通过共同进化为LLM的事实自我改进铺平了一条可扩展的道路。代码位于https://github.com/Qwen-Applications/MARCH。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在检索增强生成（RAG）系统中存在的幻觉问题。现有方法，特别是那些使用LLM作为裁判来验证LLM输出的方法，容易受到确认偏差的影响。这意味着验证者可能会无意中重复生成器的错误，从而导致幻觉无法被有效检测和纠正。

核心思路：MARCH的核心思路是通过引入信息不对称来打破自我确认偏差。具体来说，MARCH设计了一个包含三个智能体的协作管道：Solver、Proposer和Checker。Checker在不知道Solver原始输出的情况下，独立验证Proposer提出的原子命题，从而避免了确认偏差。这种设计鼓励Checker基于检索到的证据进行客观评估。

技术框架：MARCH框架包含以下三个主要模块： 1. Solver：负责生成初始的RAG响应。 2. Proposer：将Solver生成的响应分解为claim-level的可验证原子命题。 3. Checker：根据检索到的证据，独立验证Proposer提出的原子命题。Checker不知道Solver的原始输出，从而避免确认偏差。 整个框架通过多智能体强化学习（MARL）进行训练，使三个智能体能够协同进化，共同优化事实对齐。

关键创新：MARCH最重要的技术创新点在于其信息不对称的设计，即Checker在验证原子命题时不知道Solver的原始输出。这种设计有效地打破了自我确认偏差，使得幻觉检测更加可靠。此外，使用多智能体强化学习（MARL）训练整个管道，使得智能体能够协同进化，进一步提升了事实对齐的效果。

关键设计：MARCH使用多智能体强化学习（MARL）来训练Solver, Proposer和Checker。具体来说，定义了一个奖励函数，鼓励Solver生成准确的响应，Proposer提出可验证的原子命题，Checker准确地验证这些命题。通过最大化累积奖励，MARL算法使得三个智能体能够协同进化，共同优化事实对齐。具体的损失函数和网络结构细节在论文中进行了详细描述（此处未提供具体细节，因为论文信息中没有明确说明）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MARCH框架能够显著降低LLM的幻觉率。具体来说，配备MARCH的80亿参数LLM在多个幻觉基准测试中取得了优异的性能，甚至可以与一些强大的闭源模型相媲美。这些结果表明，MARCH是一种有效的幻觉检测和纠正方法，能够显著提升LLM的事实准确性。

🎯 应用场景

MARCH框架可应用于各种需要高度事实准确性的LLM应用场景，例如问答系统、知识库构建、新闻摘要生成等。通过降低LLM的幻觉率，MARCH可以提高这些应用的可靠性和用户信任度。此外，MARCH的自我改进能力使其能够适应不断变化的知识环境，并持续提升事实准确性，具有重要的实际应用价值和未来发展潜力。

📄 摘要（原文）

Hallucination remains a critical bottleneck for large language models (LLMs), undermining their reliability in real-world applications, especially in Retrieval-Augmented Generation (RAG) systems. While existing hallucination detection methods employ LLM-as-a-judge to verify LLM outputs against retrieved evidence, they suffer from inherent confirmation bias, where the verifier inadvertently reproduces the errors of the original generation. To address this, we introduce Multi-Agent Reinforced Self-Check for Hallucination (MARCH), a framework that enforces rigorous factual alignment by leveraging deliberate information asymmetry. MARCH orchestrates a collaborative pipeline of three specialized agents: a Solver, a Proposer, and a Checker. The Solver generates an initial RAG response, which the Proposer decomposes into claim-level verifiable atomic propositions. Crucially, the Checker validates these propositions against retrieved evidence in isolation, deprived of the Solver's original output. This well-crafted information asymmetry scheme breaks the cycle of self-confirmation bias. By training this pipeline with multi-agent reinforcement learning (MARL), we enable the agents to co-evolve and optimize factual adherence. Extensive experiments across hallucination benchmarks demonstrate that MARCH substantially reduces hallucination rates. Notably, an 8B-parameter LLM equipped with MARCH achieves performance competitive with powerful closed-source models. MARCH paves a scalable path for factual self-improvement of LLMs through co-evolution. The code is at https://github.com/Qwen-Applications/MARCH.