OmniCapBench: A Deep-Structured Evaluation Framework for Fine-Grained Audio-Visual Captioning

📄 arXiv: 2610.12458v1 📥 PDF

作者: Zhongyu Yang, Jiale Tao, Ruitao Chen, Zuhao Yang, Yingfang Yuan, Xueliang Zhao, Auden, Kai Wang, Shuai Shao, Biao Wang, Steve Yves, Qinglin Lu

分类: cs.CV

发布日期: 2026-10-08

备注: Accepted by NeurIPS 2026. Code and benchmark can be found at https://01yzzyu.github.io/OmniCapBench/

💡 一句话要点

提出OmniCapBench以解决音视频字幕评估的局限性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音视频字幕生成 多模态大语言模型 评估框架 深度学习 感知错误识别

📋 核心要点

  1. 现有的音视频字幕评估方法在整体评分与局部定位之间存在权衡，导致评估结果不稳定。
  2. 本文提出OmniCapBench，通过将评估目标转变为可验证的原子单元，提升了评估的可靠性与准确性。
  3. 实验结果表明，OmniCapBench能够有效识别MLLM的感知错误，特别是在身份漂移和跨模态不对齐方面表现突出。

📝 摘要（中文）

多模态大语言模型（MLLMs）正在快速发展，尤其是在连续音视频推理方面，这使得评估其能力的需求愈加迫切。音视频字幕生成是一个理想的诊断任务，但现有基准面临整体评分与局部定位之间的权衡。本文提出OmniCapBench（全视频字幕基准），将音视频字幕评估重新构建为深度结构化的诊断框架。OmniCapBench将预测目标从自由文本转变为三个轨道的原子、可验证的评估单元，能够通过确定性约束检查和基于LLM的语义比较实现可靠评分。通过786个密集注释的视频，OmniCapBench有效区分了MLLM的感知错误，提供了针对多模态发展的细致路线图。

🔬 方法详解

问题定义：本文旨在解决现有音视频字幕评估方法在整体评分与局部定位之间的权衡问题。现有基准无法全面评估模型的能力，导致评估结果不稳定。

核心思路：OmniCapBench的核心思路是将评估目标从自由文本转变为三个轨道的原子、可验证的评估单元，包括实体引用、视觉镜头和音频事件。这种设计使得评估过程更加精确和可靠。

技术框架：OmniCapBench的整体架构包括三个主要模块：实体引用评估、视觉镜头评估和音频事件评估。每个模块通过确定性约束检查和基于LLM的语义比较进行评分。

关键创新：OmniCapBench的最大创新在于其深度结构化的评估框架，能够有效区分不同类型的感知错误，如时间定位失败、身份漂移和跨模态不对齐，这与现有方法的评估方式有本质区别。

关键设计：在设计中，OmniCapBench采用了786个密集注释的视频数据集，并通过精确的参数设置和损失函数设计，确保了评估的准确性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，OmniCapBench能够有效识别MLLM的感知错误，尤其在身份漂移和跨模态不对齐方面表现出色。与现有基准相比，OmniCapBench在评估的准确性和可靠性上有显著提升，提供了更细致的多模态发展路线图。

🎯 应用场景

该研究的潜在应用领域包括多模态内容生成、视频理解和人机交互等。通过提供更精确的评估框架，OmniCapBench能够帮助研究人员和开发者更好地理解和改进多模态大语言模型的性能，推动相关技术的发展与应用。

📄 摘要（原文）

Multimodal large language models (MLLMs) are rapidly evolving toward continuous audio--visual reasoning, creating an urgent need for evaluations that expose their capability limits. Audio--visual captioning is an ideal diagnostic task, yet current benchmarks face a coupled trade-off: whole-caption scores provide coverage without localization, local probes provide localization without coverage, and unconstrained LLM judges introduce instability. We introduce OmniCapBench (Omni-Video Caption Benchmark), a benchmark that reframes audio--visual caption evaluation as a deep-structured diagnostic framework. OmniCapBench shifts the prediction target from free-form text to sets of atomic, verifiable evaluation units across three tracks: entity references, visual shots, and audio events, enabling reliable scoring with deterministic constraint checks and localized LLM-based semantic comparisons. With 786 densely annotated videos, OmniCapBench effectively distinguishes MLLM perception errors, including temporal grounding failures, identity drift, cross-modal misalignment, and hallucinated descriptions. Evaluating frontier MLLMs reveals strong local perception but weak long-horizon audio--visual reasoning, particularly in identity drift and cross-modal misalignment, providing a fine-grained roadmap for omnimodal development.