Co-FactChecker: A Framework for Human-AI Collaborative Claim Verification Using Large Reasoning Models

📄 arXiv: 2604.13706v1 📥 PDF

作者: Dhruv Sahnan, Subhabrata Dutta, Tanmoy Chakraborty, Preslav Nakov, Iryna Gurevych

分类: cs.CL

发布日期: 2026-04-15

备注: 11 pages, 3 figures. Under review

💡 一句话要点

提出Co-FactChecker框架，利用人类专家反馈协同增强大型推理模型的事实核查能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事实核查 人机协作 大型推理模型 思维轨迹 轨迹编辑

📋 核心要点

  1. 现有大型推理模型在事实核查中缺乏领域知识和上下文理解，导致与专家主导方法存在差距。
  2. Co-FactChecker框架通过将专家反馈转化为对模型思维轨迹的编辑，实现人机协同的事实核查。
  3. 实验结果表明，Co-FactChecker在自动和人工评估中均优于现有自主和人机协作方法。

📝 摘要（中文）

专业的事实核查员依赖于领域知识和深入的上下文理解来验证声明。大型语言模型（LLMs）和大型推理模型（LRMs）缺乏这种基础，主要依赖于可用的证据进行推理，这导致了专家主导和完全自动化的事实核查之间的不匹配。为了弥合这一差距，我们认为人机协作是一种更有前景的途径，其中基于真实世界知识和领域专业知识的专家反馈可以指导模型的推理。然而，现有的LRM很难校准到自然语言反馈，尤其是在多轮交互设置中。我们提出了Co-FactChecker，一个用于人机协作声明验证的框架。我们引入了一种新的交互范式，将模型的思维轨迹视为共享的草稿。Co-FactChecker将专家反馈转换为轨迹编辑，从而对轨迹进行有针对性的修改，避免了基于对话交互的缺点。我们提供了理论结果，表明轨迹编辑优于多轮对话，并且我们的自动评估表明Co-FactChecker优于现有的自主和人机协作方法。人工评估进一步表明，Co-FactChecker优于多轮对话，产生更高质量的推理和结论，以及相对更容易解释和更有用的思维轨迹。

🔬 方法详解

问题定义：现有的大型语言模型（LLMs）和大型推理模型（LRMs）在事实核查任务中，主要依赖于可用的证据进行推理，缺乏专业事实核查员所拥有的领域知识和深入的上下文理解。这导致模型在处理需要专业知识或常识的复杂声明时表现不佳，现有方法难以有效利用人类专家的反馈来提升模型性能。

核心思路：Co-FactChecker的核心思路是将人类专家视为模型的合作者，通过一种新的交互范式，允许专家直接编辑模型的“思维轨迹”（thinking trace）。这种方法避免了传统多轮对话交互的局限性，例如难以校准自然语言反馈和难以追踪推理过程。通过将专家反馈转化为对轨迹的精确修改，模型可以更好地理解和利用人类知识。

技术框架：Co-FactChecker框架包含以下主要模块：1) 声明输入：接收待验证的声明。2) 模型推理：LRM生成初始的思维轨迹，展示其推理过程。3) 专家反馈：专家根据自身知识和经验，对思维轨迹进行评估并提供反馈。4) 轨迹编辑：Co-FactChecker将专家反馈转化为对思维轨迹的编辑指令，例如添加、删除或修改推理步骤。5) 模型更新：根据编辑后的思维轨迹，更新模型的参数或调整推理策略。6) 结果输出：模型输出最终的验证结果和更新后的思维轨迹。

关键创新：Co-FactChecker的关键创新在于其“轨迹编辑”的交互范式。与传统的基于对话的交互方式相比，轨迹编辑允许专家更直接、更精确地指导模型的推理过程。这种方法能够更好地利用人类的领域知识和上下文理解，从而提高事实核查的准确性和可靠性。此外，该框架提供了一种可解释性更强的推理过程，方便用户理解模型的决策依据。

关键设计：Co-FactChecker框架的关键设计包括：1) 轨迹表示：如何有效地表示模型的思维轨迹，以便专家进行编辑。2) 反馈转换：如何将专家的自然语言反馈转化为对轨迹的精确编辑指令。3) 模型更新策略：如何根据编辑后的轨迹更新模型参数，使其更好地学习人类知识。具体的技术细节（如损失函数、网络结构等）取决于所使用的LRM和轨迹表示方法，论文中可能未详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Co-FactChecker在自动评估和人工评估中均表现出色。自动评估表明，Co-FactChecker优于现有的自主和人机协作方法。人工评估进一步表明，Co-FactChecker优于多轮对话，产生更高质量的推理和结论，以及相对更容易解释和更有用的思维轨迹。这些结果表明，轨迹编辑是一种有效的人机协作方式，可以显著提高事实核查的准确性和可靠性。

🎯 应用场景

Co-FactChecker框架可应用于新闻媒体、社交平台等领域，辅助事实核查员进行高效、准确的声明验证。该研究有助于提高信息的可信度，减少虚假信息的传播，并为构建更可靠的在线信息环境做出贡献。未来，该框架可扩展到其他需要人机协作的推理任务，例如医疗诊断、法律咨询等。

📄 摘要（原文）

Professional fact-checkers rely on domain knowledge and deep contextual understanding to verify claims. Large language models (LLMs) and large reasoning models (LRMs) lack such grounding and primarily reason from available evidence alone, creating a mismatch between expert-led and fully automated claim verification. To mitigate this gap, we posit human-AI collaboration as a more promising path forward, where expert feedback, grounded in real-world knowledge and domain expertise, guides the model's reasoning. However, existing LRMs are hard to calibrate to natural language feedback, particularly in a multi-turn interaction setup. We propose Co-FactChecker, a framework for human-AI collaborative claim verification. We introduce a new interaction paradigm that treats the model's thinking trace as a shared scratchpad. Co-FactChecker translates expert feedback into trace-edits that introduce targeted modifications to the trace, sidestepping the shortcomings of dialogue-based interaction. We provide theoretical results showing that trace-editing offers advantages over multi-turn dialogue, and our automatic evaluations demonstrate that Co-FactChecker outperforms existing autonomous and human-AI collaboration approaches. Human evaluations further show that Co-FactChecker is preferred over multi-turn dialogue, producing higher quality reasoning and verdicts along with relatively easier to interpret and more useful thinking traces.