Standing on the Shoulders of Giants: Enhancing LLM Agents for Automated Fact-Checking with Human Expert Skills

📄 arXiv: 2610.25777v1 📥 PDF

作者: Xinwen Chen, Haorui He, Yupeng Li

分类: cs.AI, cs.CL

发布日期: 2026-10-19

💡 一句话要点

提出PFC-Skill以提升LLM代理的自动化事实核查能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动化事实核查 大型语言模型 专业技能 证据检索 声明验证 法新社 模块化设计 性能提升

📋 核心要点

  1. 现有的自动化事实核查系统在证据检索和声明验证方面存在效率低下和准确性不足的问题。
  2. 本文通过提炼法新社的专业事实核查指南，提出了模块化的PFC-Skill，赋能LLM代理在推理时进行更有效的证据检索和验证。
  3. 实验结果显示，SkillCheck在准确率上超越DEFAME基线，且在推理成本上降低了约61%，展现出显著的性能提升。

📝 摘要（中文）

自动化事实核查（AFC）系统在证据检索和声明验证方面仍面临挑战。现有方法依赖于计算成本高昂的后训练或难以扩展的人机协作反馈。为高效将专业事实核查技能转移至LLM代理，本文将法新社（AFP）事实核查发布的公开指南提炼为可重用的模块化专业事实核查技能（PFC-Skill）。我们提出了SkillCheck，这是第一个让LLM代理在推理时动态访问PFC-Skill以指导证据检索和声明验证的AFC系统。实验表明，SkillCheck在多个LLM基础模型上相较于无技能的DEFAME基线在准确率上提升了2.2-4.8个百分点，在Macro-F1上提升了1.5-6.3个百分点。

🔬 方法详解

问题定义：本文旨在解决现有自动化事实核查系统在证据检索和声明验证中的效率和准确性不足的问题。现有方法依赖于昂贵的后训练和人机协作反馈，难以扩展。

核心思路：论文提出了一种模块化的专业事实核查技能（PFC-Skill），通过提炼法新社的公开指南，使LLM代理能够在推理时动态访问这些技能，从而提高证据检索和声明验证的效率和准确性。

技术框架：SkillCheck系统的整体架构包括两个主要模块：PFC-Skill模块和LLM代理模块。在推理过程中，LLM代理通过PFC-Skill模块获取专业知识，指导其进行证据检索和声明验证。

关键创新：最重要的创新在于将专业事实核查技能模块化，使其能够在不进行额外训练或持续人类监督的情况下，直接应用于LLM代理。这一设计使得LLM代理能够有效利用专业知识，显著提升AFC性能。

关键设计：在技术细节上，PFC-Skill的设计包括对法新社指南的提炼和模块化，使其具备可重用性。实验中还通过消融实验验证了技能在证据检索阶段的关键作用，表明在两个阶段都引入技能能够获得最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SkillCheck在多个LLM基础模型上相较于DEFAME基线在准确率上提升了2.2-4.8个百分点，在Macro-F1上提升了1.5-6.3个百分点。特别是，SkillCheck与GPT-4o-Mini的组合在准确率上超越了GPT-4o的DEFAME基线3.4个百分点，同时推理成本降低了约61%。

🎯 应用场景

该研究的潜在应用领域包括新闻媒体、社交媒体平台和任何需要事实核查的在线内容管理系统。通过提升自动化事实核查的效率和准确性，SkillCheck有助于减少虚假信息的传播，增强公众对信息的信任。未来，该方法还可以扩展到其他领域，如法律文书审核和学术研究验证等。

📄 摘要（原文）

Automated fact-checking (AFC) systems powered by large language model (LLM) agents still face challenges in evidence retrieval and claim verification. Existing approaches improve their capabilities through computationally costly post-training or human-in-the-loop feedback that is difficult to scale. To transfer professional fact-checking expertise to LLM agents efficiently, we distill publicly available guidelines published by Agence France-Presse (AFP) Fact Check into a reusable, modular Professional Fact-Checking Skill (PFC-Skill). We then present SkillCheck, the first AFC system that gives LLM agents dynamic access to PFC-Skill to guide evidence retrieval and claim verification at inference time. Extensive experiments demonstrate that SkillCheck improves upon skill-free DEFAME baselines across multiple LLM backbones, with gains of 2.2--4.8 pp. in Accuracy and 1.5--6.3 pp. in Macro-F1 on the AVeriTeC benchmark. Notably, SkillCheck with GPT-4o-Mini exceeds DEFAME with GPT-4o by 3.4 pp. in Accuracy while cutting inference cost by roughly 61%. The performance gains also extend to open-web retrieval. Ablations show that incorporating the skill during evidence retrieval provides most of the gains, while incorporation into both stages yields the best overall performance. Case studies show that PFC-Skill enables more targeted search and closer scrutiny of evidence. To conclude, our work shows that LLM agents can "stand on the shoulders of giants" by drawing on the best practices of professional fact-checkers, substantially enhancing AFC performance without extra training or continuous human supervision.