VisualTrust: Video Reasoning under On-Screen Claim Framing

📄 arXiv: 2610.21159v1 📥 PDF

作者: Huachao Zhu, Junjielong Xu, Sicheng Li, Liang Yang, Mingtao Chen, Zhichao Hu, Li Jiang, Pinjia He

分类: cs.CV

发布日期: 2026-10-15

备注: 25 pages, 7 figures. Project repository: https://github.com/huachao0124/VisualTrust

💡 一句话要点

提出VisualTrust以解决视频推理中的文本可信度问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频推理 文本可信度 多模态学习 反事实基准 证据仲裁 解耦方法 信息验证

📋 核心要点

  1. 现有方法未能有效区分视频中的文本可信度，导致模型在面对误导性声明时表现不佳。
  2. 论文提出VisualTrust基准，通过反事实设计评估模型在不同声明下的表现，并引入DEAR方法提升视频问答准确率。
  3. 实验结果显示，DEAR在误导声明下的准确率从47.2%-64.0%提升至81.8%-85.2%，显著降低了错误选择的可能性。

📝 摘要（中文）

本研究探讨了屏幕文本在视频中的作用，既可以描述视频内容，也可以影响观众对视频的理解。现有基准测试未能区分文本的可信度，导致模型可能错误地信任误导性声明。我们引入了VisualTrust，一个包含5063个案例的反事实基准，评估模型在面对不同声明时的表现。通过对比无声明、准确声明和误导声明的视频版本，发现模型在面对误导声明时准确率显著下降。为此，我们提出了DEAR（解耦证据仲裁与阅读），一个无需训练的代理，能有效提高在误导声明下的视频问答准确率。

🔬 方法详解

问题定义：本研究旨在解决视频推理中模型对屏幕文本的过度信任问题。现有方法未能有效评估文本的可信度，导致模型在面对误导性声明时准确率下降。

核心思路：论文通过引入VisualTrust基准，设计反事实案例来评估模型在不同声明下的表现。同时，提出DEAR方法，解耦证据仲裁与阅读，提升模型的鲁棒性。

技术框架：整体架构包括三个主要模块：证据仲裁模块、选择器和阅读模块。证据仲裁模块负责识别冲突证据，选择器根据权重评估证据，而阅读模块在新的上下文中回答问题。

关键创新：最重要的技术创新在于DEAR方法的设计，它通过解耦证据处理与回答生成，显著提高了在误导声明下的问答准确率，与传统方法相比具有本质区别。

关键设计：DEAR方法不依赖于固定的模态优先级，能够动态调整证据的权重。同时，设计了独立的检查机制来报告冲突证据，确保模型在复杂场景中的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DEAR方法在处理误导声明时的准确率从47.2%-64.0%提升至81.8%-85.2%，同时将错误选择的比例从34.4%-50.8%降低至11.6%-15.0%。这些结果表明，DEAR在提升模型鲁棒性方面具有显著效果。

🎯 应用场景

该研究的潜在应用领域包括视频内容审核、社交媒体信息验证和教育领域的多媒体学习。通过提高模型对视频中声明的可信度判断能力，可以有效减少误导信息的传播，提升信息获取的准确性。未来，该方法有望在更广泛的多模态学习任务中得到应用。

📄 摘要（原文）

On-screen text can describe what a video shows, or it can frame what the video is supposed to mean. Current benchmarks treat both alike, testing whether a model can read the text rather than whether it should trust it. We study claim deference, multimodal large language models' tendency to let an on-screen claim override conflicting visual evidence. We introduce VisualTrust, a counterfactual benchmark with 5,063 cases across 14 claim-fact classes. Each case pairs a question with three versions of the same video: one with no claim, one with an accurate claim, and one with a misleading claim that alters a single grounded fact. The option the misleading claim supports is the trap answer. Across seven open-weight and four proprietary models, mean accuracy falls from 90.1% without a claim to 51.9% with a misleading claim. Among initially correct responses, 42.8% flip to the trap answer and only 0.6% become other errors. Strong no-claim accuracy does not ensure resistance. We also introduce DEAR (Decoupled Evidence Arbitration and Reading), a training-free agent for video question answering that separates evidence arbitration from reading. An independent check reports conflicting evidence, a selector weighs it without a fixed modality priority and blinds what it withholds, and the reader answers from the resulting video in a fresh context. On 500 videos across three proprietary models, DEAR raises accuracy under misleading claims from 47.2--64.0% to 81.8--85.2% and reduces trap-answer selection from 34.4--50.8% to 11.6--15.0%, while preserving no-claim accuracy.