RAMA: Retrieval-Augmented Multi-Agent Framework for Misinformation Detection in Multimodal Fact-Checking

📄 arXiv: 2507.09174v1 📥 PDF

作者: Shuo Yang, Zijian Yu, Zhenzhe Ying, Yuqin Dai, Guoqing Wang, Jun Lan, Jinfeng Xu, Jinze Li, Edith C. H. Ngai

分类: cs.CL

发布日期: 2025-07-12

🔗 代码/项目: GITHUB

💡 一句话要点

提出RAMA框架，利用检索增强和多智能体协同解决多模态事实核查中的信息误导问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态事实核查 信息误导检测 检索增强 多智能体系统 大型语言模型 知识检索 交叉验证

📋 核心要点

  1. 现有方法在处理多模态信息误导时，尤其面对模糊或缺乏上下文的声明，表现出不足。
  2. RAMA通过战略性查询构建、交叉验证证据聚合和多智能体集成，实现更精确的事实核查。
  3. 实验结果表明，RAMA在解决模糊声明方面表现出色，验证了检索证据和多智能体推理的有效性。

📝 摘要（中文）

多模态信息误导的快速传播给自动化事实核查系统带来了重大挑战，尤其是在声明模糊或缺乏足够上下文时。我们提出了RAMA，一种新颖的检索增强多智能体框架，专为验证多媒体信息误导而设计。RAMA包含三个核心创新：(1) 战略性查询构建，将多模态声明转化为精确的Web搜索查询；(2) 来自不同权威来源的交叉验证证据聚合；(3) 多智能体集成架构，利用多个多模态大型语言模型和提示变体的互补优势。大量实验表明，RAMA在基准数据集上取得了优异的性能，尤其擅长通过将验证建立在检索到的事实证据的基础上，来解决模糊或不太可能的声明。我们的研究结果强调了整合基于Web的证据和多智能体推理对于可信的多媒体验证的必要性，为更可靠和可扩展的事实核查解决方案铺平了道路。RAMA将在https://github.com/kalendsyang/RAMA.git上公开。

🔬 方法详解

问题定义：当前多模态事实核查面临的挑战是，当声明模糊或缺乏足够上下文时，现有方法难以准确识别和验证信息真伪。这些方法通常依赖于有限的内部知识或简单的模态融合，无法有效利用外部知识来消除歧义并提供可靠的证据。因此，需要一种能够有效利用外部知识并进行多模态推理的框架来解决这一问题。

核心思路：RAMA的核心思路是利用检索增强和多智能体协同来提升多模态事实核查的准确性和可靠性。通过将多模态声明转化为精确的Web搜索查询，RAMA能够从互联网上检索到相关的证据。然后，通过多智能体集成，利用多个多模态大型语言模型和提示变体的互补优势，对检索到的证据进行交叉验证和推理，从而做出更准确的判断。这种设计旨在克服现有方法在处理模糊或缺乏上下文的声明时的局限性。

技术框架：RAMA框架主要包含三个阶段：(1) 查询构建阶段：将多模态声明转化为精确的Web搜索查询，以便从互联网上检索相关证据。(2) 证据聚合阶段：从多个权威来源检索到的证据进行聚合，并进行初步的筛选和清洗，以确保证据的质量。(3) 多智能体推理阶段：利用多个多模态大型语言模型和提示变体，对聚合后的证据进行交叉验证和推理，最终输出事实核查的结果。每个智能体独立进行推理，然后通过集成策略将它们的输出进行融合。

关键创新：RAMA的关键创新在于其检索增强和多智能体协同的架构。传统的单模态或简单多模态融合方法难以有效利用外部知识，而RAMA通过检索增强，能够从互联网上获取丰富的证据，从而提高事实核查的准确性。此外，多智能体协同能够利用不同模型的优势，避免单一模型的偏见，从而提高结果的可靠性。

关键设计：在查询构建阶段，论文可能使用了特定的自然语言处理技术来提取声明中的关键信息，并将其转化为有效的搜索查询。在证据聚合阶段，可能使用了信息检索和数据清洗技术来过滤噪声数据。在多智能体推理阶段，关键设计包括选择合适的预训练模型、设计有效的提示以及确定合适的集成策略。具体的参数设置、损失函数和网络结构等技术细节在论文中应该有更详细的描述（未知）。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，RAMA在基准数据集上取得了优异的性能，尤其擅长解决模糊或不太可能的声明。通过与现有方法的对比，RAMA在准确率和召回率等指标上均有显著提升（具体数值未知），验证了检索增强和多智能体协同的有效性。该框架能够有效利用外部知识，提高多模态事实核查的准确性和可靠性。

🎯 应用场景

RAMA框架可应用于社交媒体平台、新闻媒体机构等，用于自动检测和验证多媒体信息的真伪，减少虚假信息的传播。该研究有助于提高公众对信息的辨别能力，维护网络空间的健康生态，并为构建更可靠和可信赖的信息环境做出贡献。

📄 摘要（原文）

The rapid proliferation of multimodal misinformation presents significant challenges for automated fact-checking systems, especially when claims are ambiguous or lack sufficient context. We introduce RAMA, a novel retrieval-augmented multi-agent framework designed for verifying multimedia misinformation. RAMA incorporates three core innovations: (1) strategic query formulation that transforms multimodal claims into precise web search queries; (2) cross-verification evidence aggregation from diverse, authoritative sources; and (3) a multi-agent ensemble architecture that leverages the complementary strengths of multiple multimodal large language models and prompt variants. Extensive experiments demonstrate that RAMA achieves superior performance on benchmark datasets, particularly excelling in resolving ambiguous or improbable claims by grounding verification in retrieved factual evidence. Our findings underscore the necessity of integrating web-based evidence and multi-agent reasoning for trustworthy multimedia verification, paving the way for more reliable and scalable fact-checking solutions. RAMA will be publicly available at https://github.com/kalendsyang/RAMA.git.