MM-VeriAgent: Learning to Use Extensive Tools to Verify Multimodal Misinformation with Reinforcement Learning

📄 arXiv: 2609.30698v1 📥 PDF

作者: Peipei Li, Shuhan Xia, Shengyang Liu, Zekun Li, Ran He

分类: cs.CV

发布日期: 2026-09-25

💡 一句话要点

提出MM-VeriAgent以解决多模态虚假信息验证问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态虚假信息 工具增强 强化学习 虚假信息检测 模型训练 信息验证

📋 核心要点

  1. 现有的多模态虚假信息检测方法依赖于固定的工作流程，缺乏灵活性，且推理成本较高。
  2. 论文提出MM-VeriAgent，通过构建MM-VeriTools工具包和强化学习训练代理，提升混合源虚假信息的检测能力。
  3. 实验结果显示，MM-VeriAgent在MMFakeBench上显著提高了准确性，相较于基线模型有明显的性能提升。

📝 摘要（中文）

现实世界中的多模态虚假信息通常涉及混合伪造源，需要针对特定样本的检测策略。现有的工具增强方法依赖于预定义的工作流程或推理时规划，限制了适应性或增加了推理成本。为了解决这一问题，本文提出了MM-VeriAgent，它通过工具学习验证混合源的多模态虚假信息。我们首先构建了MM-VeriTools，一个专门用于虚假信息检测的工具包。通过基准测试各种候选模型和方法，我们选择了在文本、视觉和跨模态伪造分析中表现最强的工具，并将其封装为统一接口的可调用工具。在此基础上，我们使用强化学习训练LVLM代理，以教会其如何使用这些工具更好地解决混合源检测。为了提高训练效率，我们引入了工具执行缓存，预先执行候选工具调用并在训练期间重用其缓存输出。实验结果表明，MM-VeriAgent在MMFakeBench上显著提高了准确性。

🔬 方法详解

问题定义：本文旨在解决多模态虚假信息的验证问题。现有方法在处理混合伪造源时，往往依赖于固定的工作流程，导致适应性不足和推理成本高。

核心思路：论文提出MM-VeriAgent，通过构建一个专门的工具包MM-VeriTools，并结合强化学习，教会代理如何灵活使用这些工具进行虚假信息检测。

技术框架：整体架构包括MM-VeriTools工具包、LVLM代理和工具执行缓存。工具包中封装了多种检测工具，代理通过强化学习学习如何选择和使用这些工具。工具执行缓存则用于预先执行工具调用，减少在线执行的需求。

关键创新：最重要的创新在于引入了工具执行缓存机制，显著提高了训练效率，避免了在每次回合中都进行工具的在线执行。这一设计使得代理能够在多步回合中有效利用工具。

关键设计：在参数设置上，强化学习的奖励函数设计考虑了工具使用的有效性和准确性。网络结构上，LVLM代理结合了多模态输入，能够处理文本、视觉和跨模态信息。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，MM-VeriAgent在MMFakeBench数据集上相比于基线模型实现了显著的准确性提升，具体表现为准确率提高了XX%（具体数据未知），并且在工具使用效率上也得到了优化，减少了在线工具执行的次数。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容审核、新闻真实性验证和在线教育平台的内容监控等。通过提高多模态虚假信息的检测能力，MM-VeriAgent能够有效减少虚假信息的传播，提升信息的可信度和安全性，具有重要的社会价值和实际影响。

📄 摘要（原文）

Real-world multimodal misinformation often involves mixed forgery sources, requiring sample-specific detection strategies. Existing tool-augmented methods rely on predefined workflows or inference-time planning, limiting adaptability or increasing inference cost. To address this issue, we introduce \textbf{MM-VeriAgent}, which learns to verify mixed-source multimodal misinformation with tools. We first build \textbf{MM-VeriTools}, a specialized toolkit for misinformation detection agents. By benchmarking various candidate models and methods on the sub-tasks required by mixed-source detection, we select the strongest for textual, visual, and cross-modal forgery analysis and encapsulate them as callable tools with a unified interface. On top of this toolkit, we train the LVLM agent with reinforcement learning to teach it how to use these tools to better solve mixed-source detection. Since many of the tools are specialized models whose online execution at every rollout severely limits RL efficiency, we further introduce \textbf{Tool-Execution Cache}, which pre-executes candidate tool calls and reuses their cached outputs during training. This preserves multi-step rollouts while reducing online tool execution, largely improving the training efficiency.Experiments on MMFakeBench demonstrate substantial accuracy gains over the base model without explicit tool search at inference time. Ablation and efficiency analyses further validate the learned tool-use policy and show that Tool-Execution Cache reduces online tool executions during training.