WorldSense: Evaluating Real-world Omnimodal Understanding for Multimodal LLMs

📄 arXiv: 2502.04326v2 📥 PDF

作者: Jack Hong, Shilin Yan, Jiayin Cai, Xiaolong Jiang, Yao Hu, Weidi Xie

分类: cs.CV, cs.AI

发布日期: 2025-02-06 (更新: 2025-05-26)

💡 一句话要点

提出WorldSense基准，用于评估多模态LLM在真实世界场景下的全模态理解能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 视频理解 音频理解 基准测试 全模态融合

📋 核心要点

  1. 现有基准测试在评估模型对真实世界场景的全模态理解能力方面存在不足，尤其是在音视频协同理解方面。
  2. WorldSense基准通过构建包含音视频强耦合的QA对，并覆盖多样化场景和任务，来全面评估模型的全模态理解能力。
  3. 实验结果表明，现有模型在WorldSense基准上表现不佳，突显了真实世界场景理解的挑战，为未来研究提供了方向。

📝 摘要（中文）

本文提出了WorldSense，这是一个用于评估多模态视频理解的首个基准，它同时包含视觉、音频和文本输入。与现有基准相比，WorldSense具有以下特点：（i）全模态协同，评估任务的设计强调音频和视频的强耦合，要求模型有效地利用全模态的协同感知；（ii）视频和任务的多样性，WorldSense包含1662个音视频同步视频的多样化集合，系统地分为8个主要领域和67个细粒度子类别，以覆盖广泛的场景，以及跨26个不同任务的3172个多项选择QA对，以实现全面的评估；（iii）高质量的标注，所有QA对均由80位专家标注员手动标注，并经过多轮校正以确保质量。基于WorldSense，我们广泛评估了各种最先进的模型。实验结果表明，现有模型在理解真实世界场景方面面临重大挑战（最佳准确率为48.0%）。通过分析当前模型的局限性，我们旨在提供有价值的见解，以指导真实世界理解的发展。我们希望WorldSense可以为评估从全模态构建和理解连贯上下文的能力提供一个平台。

🔬 方法详解

问题定义：现有的大多数多模态理解基准测试未能充分评估模型在真实世界场景下的全模态理解能力，尤其是在音视频协同理解方面。现有方法通常侧重于单一模态或简单的模态融合，缺乏对复杂场景下音视频之间细微关联的理解能力。这导致模型在处理真实世界的复杂场景时表现不佳。

核心思路：WorldSense的核心思路是构建一个更贴近真实世界场景、更具挑战性的多模态理解基准。该基准强调音视频的强耦合，要求模型能够同时利用视觉和听觉信息来理解场景。通过多样化的视频和任务设计，以及高质量的人工标注，WorldSense旨在全面评估模型的全模态理解能力。

技术框架：WorldSense基准主要包含以下几个部分： 1. 视频数据集：包含1662个音视频同步的视频，涵盖8个主要领域和67个细粒度子类别，以保证场景的多样性。 2. QA数据集：包含3172个多项选择QA对，涵盖26个不同的任务，旨在全面评估模型的理解能力。 3. 评估指标：使用准确率作为主要评估指标，用于衡量模型在QA任务上的表现。

关键创新：WorldSense的关键创新在于其对全模态协同的强调，特别是音视频的强耦合。与现有基准相比，WorldSense更注重评估模型在理解音视频之间细微关联方面的能力。此外，WorldSense还通过多样化的视频和任务设计，以及高质量的人工标注，提高了基准的挑战性和可靠性。

关键设计：WorldSense的关键设计包括： 1. 音视频同步：所有视频都经过精心挑选，保证音视频的同步性，以便模型能够更好地学习音视频之间的关联。 2. 领域和子类别划分：将视频划分为8个主要领域和67个细粒度子类别，以保证场景的多样性。 3. QA对设计：QA对的设计强调音视频的强耦合，要求模型能够同时利用视觉和听觉信息来回答问题。 4. 人工标注：所有QA对都由80位专家标注员手动标注，并经过多轮校正，以确保标注的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有最先进的模型在WorldSense基准上的最佳准确率仅为48.0%，远低于人类水平。这表明现有模型在理解真实世界场景方面仍面临重大挑战。该结果突显了WorldSense基准的价值，并为未来研究提供了明确的方向，即需要开发更强大的模型来更好地理解和利用全模态信息。

🎯 应用场景

WorldSense基准的提出，为多模态LLM在真实世界场景下的应用提供了重要的评估工具。该基准可以用于评估和改进模型在视频理解、智能助手、自动驾驶、机器人等领域的性能。通过不断提升模型在WorldSense上的表现，可以推动多模态LLM在实际应用中发挥更大的作用。

📄 摘要（原文）

We introduce WorldSense, the first benchmark to assess the multi-modal video understanding, that simultaneously encompasses visual, audio, and text inputs. In contrast to existing benchmarks, our WorldSense has several features: (i) collaboration of omni-modality, we design the evaluation tasks to feature a strong coupling of audio and video, requiring models to effectively utilize the synergistic perception of omni-modality; (ii) diversity of videos and tasks, WorldSense encompasses a diverse collection of 1,662 audio-visual synchronised videos, systematically categorized into 8 primary domains and 67 fine-grained subcategories to cover the broad scenarios, and 3,172 multi-choice QA pairs across 26 distinct tasks to enable the comprehensive evaluation; (iii) high-quality annotations, all the QA pairs are manually labeled by 80 expert annotators with multiple rounds of correction to ensure quality. Based on our WorldSense, we extensively evaluate various state-of-the-art models. The experimental results indicate that existing models face significant challenges in understanding real-world scenarios (48.0% best accuracy). By analyzing the limitations of current models, we aim to provide valuable insight to guide development of real-world understanding. We hope our WorldSense can provide a platform for evaluating the ability in constructing and understanding coherent contexts from omni-modality.