Video-HolmesV2: Can MLLMs Reason with Spatio-Temporal Audio-Visual Evidence in Long Videos?
作者: Zhaoyang Wei, Zipeng Wang, Yushe Cao, Chenhui Qiang, Shuaibing Cheng, Xuesong Yang, Sen Nie, Bowen Jiang, Wenchao Ding, Yanchao Hao, Zheng Wei, Xuehui Yu, Zhenjun Han
分类: cs.CV
发布日期: 2026-09-15
备注: Accepted by ECCV2026
💡 一句话要点
提出Video-HolmesV2以解决长视频中的多模态推理问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长视频理解 多模态推理 音视频耦合 证据驱动评估 标记压缩 深度学习 跨模态融合
📋 核心要点
- 现有多模态模型在长视频推理中表现不佳，主要由于对视觉信息的过度依赖和对听觉信息的忽视。
- 本文提出Video-HolmesV2基准，通过证据驱动的评估方式，要求模型提供时空音视频证据来支持其推理。
- 实验结果显示，尽管强大的专有模型准确率低于60%，但本文的方法在与开放源代码模型的比较中表现优越。
📝 摘要（中文）
多模态大型语言模型在视频理解方面表现出色，但在长篇叙事推理能力上存在不足，主要受限于视觉中心的评估和低效的上下文处理。现有基准过于依赖视觉启发式，忽视听觉线索，使得模型成为“无声观察者”，无法进行真正的跨模态推理。此外，标准的密集采样导致证据与上下文之间的权衡：增加帧数以捕捉证据必然导致注意力分散和标记爆炸。为了解决这些问题，本文提出了Video-HolmesV2，一个旨在深度音视频耦合的新基准，要求模型用精确的时空音视频证据来证明答案，从而减少猜测和虚假证据的影响。
🔬 方法详解
问题定义：本文旨在解决多模态大型语言模型在长视频推理中的不足，尤其是对音频线索的忽视和上下文处理的低效。现有方法往往依赖视觉信息，导致模型无法进行有效的跨模态推理。
核心思路：论文提出了一种新的评估基准Video-HolmesV2，强调证据驱动的推理，要求模型提供时空音视频证据来支持其答案，从而减少猜测和虚假信息的影响。
技术框架：整体架构包括多模型交叉验证管道和时空证据感知指标，确保任务的严谨性。同时，提出音频-文本引导的标记压缩框架，以减少长上下文中的噪声。
关键创新：最重要的创新在于引入了证据驱动的评估机制和音频-文本引导的标记压缩方法，这与现有方法的主要区别在于强调了音频信息的重要性和有效的上下文处理。
关键设计：在设计中，采用了多模型交叉验证以确保结果的可靠性，并使用时空证据感知指标进行细粒度校准。此外，音频-文本引导的标记压缩框架通过融合任务意图与音频锚点，提取高价值的推理线索。
🖼️ 关键图片
📊 实验亮点
实验结果表明，尽管强大的专有模型在该基准上准确率低于60%，但本文提出的方法在与可比的开放源代码模型的对比中表现出色，显示出显著的性能提升，证明了新方法的有效性和创新性。
🎯 应用场景
该研究的潜在应用领域包括视频内容分析、智能监控、教育视频理解等。通过提升多模态模型在长视频推理中的能力，能够更好地支持人机交互、自动化信息提取和智能推荐系统等实际应用，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Multimodal Large Language Models have demonstrated impressive video understanding, yet their ability to reason over long-form narratives is often masked by visual-centric evaluations and inefficient context processing. Existing benchmarks over-rely on visual heuristics while marginalizing auditory cues, effectively reducing models to "silent observers" that bypass genuine cross-modal reasoning. Moreover, standard dense sampling creates an evidence-context trade-off: increasing frames to capture evidence inevitably leads to attention distraction and token explosion. To bridge these gaps, we present Video-HolmesV2, a novel benchmark designed for Deep Audio-Visual Coupling. Unlike previous works, it enforces an Evidence-Based Evaluation, requiring models to justify answers with precise spatio-temporal audio-visual evidence, thereby reducing confounding effects of guessing and hallucinated evidence. To support this, we introduce: (1) a Multi-Model Cross-Verification pipeline to ensure task rigor; (2) a Spatio-temporal Evidence-Aware Metric for fine-grained calibration. Furthermore, we propose an Audio-Text Guided Token Compression framework. By fusing task intent with auditory anchors, our method distills high-value reasoning cues to mitigate long-context noise. In our evaluation, even strong proprietary models achieve below 60% accuracy, while our approach outperforms comparable open-source omni-models.