Sparse Evidence Can Suffice: Agentic Evidence Seeking for Multimodal Video Misinformation Detection

📄 arXiv: 2607.18080v1 📥 PDF

作者: Haochen Zhao, Yongxiu Xu, Xinkui Lin, Dong Xie, Jiarui Lu, Yuqi Qian, Yubin Wang, Hongbo Xu, Gaopeng Gou

分类: cs.CV, cs.AI

发布日期: 2026-07-20

💡 一句话要点

提出SIEVE框架以解决多模态视频虚假信息检测中的证据稀疏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态视频 虚假信息检测 证据获取 强化学习 透明性 决策支持 信息验证

📋 核心要点

  1. 现有的多模态视频虚假信息检测方法通常需要处理整个视频，导致冗余和关键证据的模糊。
  2. 本文提出SIEVE框架，通过分离证据获取与验证，首先识别稀疏的决策相关线索，再进行真实性判断。
  3. 实验结果显示，SIEVE在多个基准测试中超越了现有方法，能够使用紧凑的证据包进行可靠的验证。

📝 摘要（中文）

多模态视频虚假信息检测通常被视为整体视频理解任务，然而现实中的虚假信息往往呈现稀疏和组合的证据结构。可靠的决策可能仅依赖于少数相关线索，而大部分视频内容提供的附加信息有限。因此，过度的多模态推理可能引入冗余并掩盖关键证据。为此，本文提出SIEVE框架，通过提取稀疏的决策相关线索并基于这些证据进行真实性判断。该框架中的证据寻求代理主动探索可用的多模态证据，构建紧凑的证据包，随后由验证器判断真实性。实验结果表明，SIEVE在多个视频虚假信息基准测试中表现优异，支持基于紧凑证据包的可靠验证。

🔬 方法详解

问题定义：本文旨在解决多模态视频虚假信息检测中，现有方法对整个视频进行处理导致的冗余和关键证据模糊的问题。

核心思路：提出SIEVE框架，通过分离证据获取与验证的过程，首先识别出稀疏的、与决策相关的线索，然后基于这些线索进行真实性判断，从而提高检测效率和准确性。

技术框架：SIEVE框架包含两个主要模块：证据寻求代理和验证器。证据寻求代理负责主动探索多模态证据并构建紧凑的证据包，验证器则基于这些证据包进行真实性判断。

关键创新：SIEVE的创新在于引入了证据寻求代理，通过监督学习和强化学习目标来促进有效证据的获取，显著减少了不必要的交互，提升了验证的透明度和可靠性。

关键设计：在训练过程中，代理使用监督的证据寻求轨迹，并结合证据感知的强化学习目标，鼓励获取信息丰富的证据，同时抑制无效交互。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SIEVE在多个视频虚假信息基准测试中表现优异， consistently outperforming evaluated baselines，验证准确率显著提高，且使用的证据包更为紧凑，提升了验证的效率和透明度。

🎯 应用场景

该研究在多模态视频虚假信息检测领域具有广泛的应用潜力，能够有效提高社交媒体、新闻平台等场景中的信息真实性验证能力。未来，SIEVE框架的设计理念也可扩展到其他需要证据获取与验证的任务中，提升决策的透明度和可靠性。

📄 摘要（原文）

Multimodal video misinformation detection is commonly formulated as a holistic video-understanding task, where the entire video and its associated content are processed and judged in a single pass. However, real-world misinformation often exhibits a sparse and compositional evidence structure: a reliable decision may depend on only a few coupled clues, while most video content contributes limited additional information. Exhaustive multimodal reasoning may therefore introduce substantial redundancy and obscure decisive evidence. This motivates decoupling evidence acquisition from verification: first identifying sparse, decision-relevant clues and then judging veracity based on the acquired evidence. Accordingly, we propose SIEVE, a framework for Sparse Interactive Evidence Verification via Extraction in multimodal video misinformation detection. An evidence-seeking agent actively explores the available multimodal evidence and constructs a compact evidence package, which is then used by a verifier to determine veracity. The agent is trained with supervised evidence-seeking trajectories and an evidence-aware reinforcement learning objective that promotes informative evidence acquisition while discouraging unnecessary or invalid interactions. Experiments on multiple video misinformation benchmarks show that SIEVE consistently outperforms the evaluated baselines and supports reliable verification using compact evidence packages. Moreover, the resulting acquisition process provides an explicit and inspectable evidence trail, improving the transparency and groundedness of multimodal misinformation detection.