OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding

📄 arXiv: 2610.18829v1 📥 PDF

作者: Xuyang Liu, Shihao Wang, Xinyu Wei, Minghan Li, Zeqing Wang, Zuhao Yang, Zichen Wen, Lei Zhang

分类: cs.CV, cs.CL, cs.MM

发布日期: 2026-10-13

备注: Homepage: https://omnicompass.netlify.app/

💡 一句话要点

提出OmniCompass以解决多模态视频理解评估不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态视频理解 视频定位 问答系统 音视频联合模型 评估基准

📋 核心要点

  1. 现有视频理解基准仅覆盖部分评估维度，无法系统性地诊断全模态视频理解能力。
  2. OmniCompass通过定义两个评估轨道和三个互补任务，提供了全面的评估框架，解决了现有方法的不足。
  3. 评估结果表明，开源模型在音视频理解方面仍落后于专有模型，尤其在时间和空间定位上存在挑战。

📝 摘要（中文）

随着多模态大语言模型（MLLMs）的快速发展，评估其视频理解能力变得愈发重要。现有的视频理解基准仅覆盖部分评估维度，限制了对全方位视频理解的系统诊断。为此，本文提出了OmniCompass，一个用于全模态视频定位和理解的综合基准。OmniCompass定义了两个评估轨道：OmniCompass-VL评估需要视觉证据的视觉-语言模型，OmniCompass-AV则评估需要音视频联合证据的全模态模型。每个轨道包括三个互补任务：时间定位、空间定位和问答，全面评估目标出现的时间、位置及事件内容。所有实例经过多轮质量验证手动标注，评估结果显示开源模型在音视频理解上仍落后于专有模型。

🔬 方法详解

问题定义：本文旨在解决现有视频理解基准无法全面评估多模态视频理解能力的问题。现有方法在评估维度上存在局限，无法有效诊断模型的性能。

核心思路：OmniCompass通过引入两个评估轨道（OmniCompass-VL和OmniCompass-AV）和三个互补任务（时间定位、空间定位和问答），提供了一个全面的评估框架，以便更好地评估多模态模型的能力。

技术框架：整体架构包括两个主要评估轨道：OmniCompass-VL专注于视觉-语言模型，OmniCompass-AV则关注音视频联合模型。每个轨道下设三个任务，分别评估目标的时间、空间位置及事件内容。

关键创新：OmniCompass的创新在于其综合性评估框架，涵盖了视觉和音视频理解的多个维度，填补了现有基准的空白。

关键设计：每个实例在评估时采用文本和图像两种配对设置，确保目标通过文本和视觉语言指导的准确性。所有实例经过手动标注和多轮质量验证，确保数据的高质量。评估数据包括820个视频和2460个实例，涵盖短、中、长三种时长类型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，50个多模态大语言模型的评估表明，开源模型在音视频理解上仍显不足，特别是在时间和空间定位任务中，领先模型的预测存在不一致性，表明该领域仍有较大提升空间。

🎯 应用场景

OmniCompass的研究成果可广泛应用于视频理解、智能监控、自动驾驶等领域，提升多模态模型在复杂场景下的理解能力。未来，该基准有望推动多模态大语言模型的进一步发展与应用，促进人机交互的智能化。

📄 摘要（原文）

With the rapid development of multimodal large language models (MLLMs), evaluating their video understanding capabilities has become increasingly important. Existing video understanding benchmarks cover only part of the evaluation dimensions, limiting systematic diagnosis of omni-modal video understanding. We introduce OmniCompass, a holistic benchmark for omni-modal video grounding and understanding. OmniCompass defines two evaluation tracks: OmniCompass-VL assesses vision-language models on tasks requiring visual evidence, while OmniCompass-AV assesses omni-modal models on tasks requiring joint audio-visual evidence. Each track includes three complementary tasks: temporal grounding (TG), spatial grounding (SG), and question answering (QA), assessing when a referenced target appears, where it is, and what happens. QA covers five perception and three reasoning categories in OmniCompass-VL, and three perception and two reasoning categories in OmniCompass-AV. OmniCompass-VL contains 820 videos and 2,460 instances across domains and three duration types: short, medium, and long. A narrative- and audio-rich subset forms OmniCompass-AV with 240 videos and 720 instances. Each instance is evaluated under two paired settings: text-only and text+image, specifying the same target through text and visual-language guidance. All instances are manually annotated with multi-round quality verification. Evaluations of 50 MLLMs show that open-source models still lag behind proprietary counterparts, particularly in audio-visual understanding. Precise temporal and spatial grounding remains challenging even for leading models, and their predictions still exhibit inconsistencies across the paired target specifications.