RW-Post: Auditable Evidence-Grounded Multimodal Fact-Checking in the Wild
作者: Danni Xu, Shaojing Fan, Harry Cheng, Mohan Kankanhalli
分类: cs.MM, cs.AI
发布日期: 2026-05-11
🔗 代码/项目: GITHUB
💡 一句话要点
提出RW-Post基准与AgentFact框架，实现真实场景下可审计的多模态事实核查
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态事实核查 视觉定位 大视觉语言模型 可解释AI 证据推理 基准测试
📋 核心要点
- 现有模型在处理多模态虚假信息时，难以实现对证据的忠实定位，且缺乏针对真实社交媒体复杂语境的系统性评估基准。
- 提出RW-Post基准，通过LLM辅助的流水线构建可审计的证据链，支持在闭卷、证据受限及开放网络等多种模式下进行模型评估。
- 引入AgentFact验证基准，实验显示证据受限评估能显著提升模型的事实核查准确性，揭示了当前LVLMs在证据推理上的性能瓶颈。
📝 摘要（中文）
多模态虚假信息日益利用视觉说服力，通过篡改或重用图像增强误导性文本。本文提出了RW-Post，这是一个针对真实世界多模态事实核查的后对齐文本-图像基准，具备可审计的标注体系。每个实例通过LLM辅助的提取与审计流水线，将原始社交媒体帖子与推理轨迹及明确链接的证据项关联。RW-Post支持在闭卷、证据受限及开放网络三种模式下进行受控评估，从而系统性地诊断视觉定位与证据利用能力。此外，我们提供了AgentFact作为基准验证模型，并基于统一协议评估了主流开源大视觉语言模型（LVLMs）。实验表明，当前模型在忠实证据定位方面仍存在显著差距，而证据受限评估能有效提升模型的准确性与忠实度。
🔬 方法详解
问题定义：论文旨在解决真实社交媒体环境中，多模态虚假信息检测模型缺乏可解释性、证据定位不准确以及评估标准不统一的问题，特别是模型在面对视觉说服力较强的误导性内容时，难以进行有效的溯源与核查。
核心思路：通过构建一个包含“原始帖子-推理轨迹-证据项”三位一体的标注数据集，将事实核查过程转化为可审计的逻辑推理任务，从而强制模型在证据约束下进行决策，减少幻觉并提升可信度。
技术框架：整体框架包含三个阶段：首先是基于LLM的自动化提取与审计流水线，从人类事实核查文章中提取结构化证据；其次是RW-Post基准，提供多模态输入与对应的证据链；最后是AgentFact基准验证模型，通过统一的提示词工程与推理协议，对开源LVLMs进行性能评估。
关键创新：引入了“可审计性”概念，将事实核查从简单的分类任务转变为基于证据链的推理任务；提出了支持多种评估模式（闭卷、证据受限、开放网络）的灵活框架，能够精准诊断模型在视觉定位与证据利用上的短板。
关键设计：采用了LLM辅助的自动化标注流水线，确保了证据与推理轨迹的强关联性；设计了AgentFact作为参考基线，通过结构化的推理步骤（CoT）引导模型进行证据检索与事实判定，从而在证据受限环境下显著提升了模型的忠实度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，当前主流开源LVLMs在处理复杂多模态事实核查时，证据定位能力仍有巨大提升空间。研究发现，在证据受限（Evidence-bounded）模式下，模型的事实核查准确性与推理忠实度均有显著改善，证明了引入外部证据链对于缓解模型幻觉、提升决策可靠性的关键作用。
🎯 应用场景
该研究可广泛应用于社交媒体平台的内容审核系统、新闻机构的事实核查工具以及公共舆情监测平台。通过提供可审计的证据链，该方法能显著提升自动化审核系统的透明度与可信度，辅助人类审核员快速识别并反驳复杂的视觉误导信息，在维护网络信息生态健康方面具有重要价值。
📄 摘要（原文）
Multimodal misinformation increasingly leverages visual persuasion, where repurposed or manipulated images strengthen misleading text. We introduce \textbf{RW-Post}, a post-aligned \textbf{text--image benchmark} for real-world multimodal fact-checking with \emph{auditable} annotations: each instance links the original social-media post with reasoning traces and explicitly linked evidence items derived from human fact-check articles via an LLM-assisted extraction-and-auditing pipeline. RW-Post supports controlled evaluation across closed-book, evidence-bounded, and open-web regimes, enabling systematic diagnosis of visual grounding and evidence utilization. We provide \textbf{AgentFact} as a reference verification baseline and benchmark strong open-source LVLMs under unified protocols. Experiments show substantial headroom: current models struggle with faithful evidence grounding, while evidence-bounded evaluation improves both accuracy and faithfulness. Code and dataset will be released at https://github.com/xudanni0927/AgentFact.