SAFE-MR: Evidence Sufficiency Learning for Selective Multimodal Rumor Detection

📄 arXiv: 2610.06708v1 📥 PDF

作者: Shiwen Ni

分类: cs.CL

发布日期: 2026-10-05

💡 一句话要点

提出SAFE-MR框架以解决多模态谣言检测中的证据充分性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态谣言检测 证据充分性 关系感知图 选择性预测 信息验证

📋 核心要点

  1. 现有的多模态谣言检测方法过于依赖检索到的证据，导致在缺乏充分支持的情况下产生错误的预测。
  2. SAFE-MR框架通过将声明的真实性与证据的充分性分开，构建关系感知的声明-证据图来进行选择性预测。
  3. 在多个数据集上，SAFE-MR显著提高了宏F1分数，并在诊断选择集上降低了错误率，验证了其有效性。

📝 摘要（中文）

多模态谣言检测器越来越依赖检索到的证据，但相关证据并不一定足够用于验证。缺失的来源、重复的报告和未解决的矛盾可能导致在缺乏充分支持的情况下产生自信的预测。我们提出了SAFE-MR框架，该框架将声明的真实性与证据的充分性分开。该方法将图像-文本帖子分解为可验证的声明，构建关系感知的声明-证据图，并使用来源和上下文兼容性聚合证据。独立的真实性和充分性头部支持选择性预测，而证据干预则鼓励在无关添加下的稳定性和对证据移除的敏感性。在NewsCLIPpings、VERITE和XFacta数据集上，SAFE-MR分别达到了91.2%、75.8%和85.2%的宏F1分数。与匹配的基础模型相比，其宏F1分数分别提高了2.2、4.9和4.8个百分点。

🔬 方法详解

问题定义：本论文旨在解决多模态谣言检测中，现有方法对证据的依赖性过强，导致在缺乏充分支持的情况下产生自信的错误预测的问题。

核心思路：SAFE-MR框架通过将声明的真实性与证据的充分性分开，利用关系感知的声明-证据图来增强选择性预测的能力，从而提高检测的准确性和稳定性。

技术框架：SAFE-MR的整体架构包括三个主要模块：首先是将图像-文本帖子分解为可验证的声明；其次是构建关系感知的声明-证据图；最后是通过独立的真实性和充分性头部进行选择性预测。

关键创新：SAFE-MR的主要创新在于引入了证据充分性学习和干预训练，使得模型在面对无关证据时保持稳定，并对证据的移除表现出敏感性，这与现有方法的单一真实性预测形成了鲜明对比。

关键设计：在模型设计中，采用了独立的损失函数来优化真实性和充分性的预测，同时在证据聚合过程中引入了来源和上下文兼容性，以增强模型的鲁棒性。具体的网络结构和参数设置在实验中进行了详细的调优。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在多个数据集上，SAFE-MR的宏F1分数分别达到了91.2%、75.8%和85.2%，与匹配的基础模型相比，宏F1分数提升幅度分别为2.2、4.9和4.8个百分点。此外，在诊断选择集上，SAFE-MR将最大概率拒绝的AURC从0.105降低至0.075，错误率在80%覆盖下从13.8%降至8.5%。

🎯 应用场景

SAFE-MR框架在社交媒体内容审核、新闻验证和虚假信息检测等领域具有广泛的应用潜力。通过提高谣言检测的准确性和稳定性，该研究能够有效支持信息传播的真实性验证，减少虚假信息的影响，具有重要的社会价值和实际意义。

📄 摘要（原文）

Multimodal rumor detectors increasingly rely on retrieved evidence, yet relevant evidence is not necessarily sufficient for verification. Missing provenance, duplicated reports, and unresolved contradictions can produce confident predictions without adequate support. We introduce SAFE-MR, a framework that separates claim veracity from evidence sufficiency. The method decomposes image-text posts into verifiable claims, constructs a relation-aware claim-evidence graph, and aggregates evidence using provenance and contextual compatibility. Separate veracity and sufficiency heads support selective prediction, while evidence interventions encourage stability under irrelevant additions and sensitivity to evidence removal. On NewsCLIPpings, VERITE, and XFacta, SAFE-MR achieves macro-F1 scores of 91.2%, 75.8%, and 85.2%, respectively. Against the matched backbone with evidence, its macro-F1 gains are 2.2, 4.9, and 4.8 percentage points. On the diagnostic selection set, SAFE-MR reduces AURC from 0.105 for maximum-probability rejection to 0.075 and lowers error at 80% coverage from 13.8% to 8.5%. Evidence-perturbation and ablation results support the role of sufficiency learning and intervention training in improving selective verification.