Assessing Modality Bias in Video Question Answering Benchmarks with Multimodal Large Language Models

📄 arXiv: 2408.12763v2 📥 PDF

作者: Jean Park, Kuk Jin Jang, Basam Alasaly, Sriharsha Mopidevi, Andrew Zolensky, Eric Eaton, Insup Lee, Kevin Johnson

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-08-22 (更新: 2024-12-19)

💡 一句话要点

提出模态重要性评分以评估视频问答数据集中多模态大语言模型的模态偏见

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 视频问答 模态偏见 大语言模型 模态重要性 数据集构建 消融实验

📋 核心要点

  1. 现有视频问答数据集存在严重的模态偏见，导致模型过度依赖单一模态信息，无法有效利用多模态融合进行推理。
  2. 论文提出模态重要性评分（MIS）来量化不同模态对于回答问题的贡献程度，并利用MLLM进行自动评估。
  3. 实验结果表明，现有模型在模态平衡性较差的数据集上表现不佳，验证了MIS的有效性，并为数据集构建提供了指导。

📝 摘要（中文）

多模态大语言模型(MLLM)能够同时处理视觉、文本和听觉数据，从而获得补充人类分析的见解。然而，现有的视频问答(VidQA)基准和数据集通常表现出对单一模态的偏见，尽管其目标是需要整合多种模态的高级推理能力来回答问题。本文提出了模态重要性评分(MIS)来识别这种偏见，旨在评估哪个模态嵌入了回答问题所需的必要信息。此外，我们提出了一种使用最先进的MLLM来估计模态重要性的创新方法，该方法可以作为人类对模态感知判断的代理。通过MIS，我们证明了现有数据集中存在单模态偏见以及真正多模态问题的稀缺性。我们通过多次消融研究验证了模态重要性评分，以评估MLLM在置换特征集上的性能。结果表明，由于现有数据集中模态不平衡，当前模型无法有效整合信息。我们提出的基于MLLM的MIS可以指导模态平衡数据集的创建，从而推进多模态学习并增强MLLM理解和利用跨模态协同关系的能力。

🔬 方法详解

问题定义：现有的视频问答（VidQA）数据集通常存在模态偏见，即回答问题所需的信息主要集中在单一模态（例如，仅视觉或仅文本）。这种偏见导致模型倾向于利用单模态信息进行回答，而忽略了多模态融合的优势，从而限制了模型在需要复杂推理的场景下的性能。现有方法缺乏有效量化和识别这种模态偏见的手段。

核心思路：论文的核心思路是提出一种模态重要性评分（MIS），用于评估每个模态对于回答特定问题的贡献程度。通过MIS，可以识别数据集中存在的模态偏见，并指导构建模态平衡的数据集。论文利用多模态大语言模型（MLLM）来自动估计MIS，将其作为人类判断模态重要性的代理。

技术框架：该方法主要包含以下几个阶段：1) 使用MLLM处理视频、文本和音频等多模态输入，并生成问题的答案。2) 通过消融实验，分别移除或置换不同模态的特征，观察模型性能的变化。3) 基于模型性能的变化，计算每个模态的MIS，即该模态对于回答问题的重要性程度。MIS越高，表示该模态包含的信息对于回答问题越关键。

关键创新：该方法最重要的创新点在于提出了利用MLLM自动评估模态重要性的方法。与传统的人工标注相比，该方法可以更高效、更客观地评估大规模数据集中的模态偏见。此外，MIS提供了一种量化模态重要性的指标，可以用于指导数据集的构建和模型的训练。

关键设计：在计算MIS时，论文采用了多种消融策略，例如完全移除某个模态的特征，或者将该模态的特征进行随机置换。通过比较模型在不同消融策略下的性能，可以更准确地评估每个模态的重要性。具体来说，MIS的计算公式可能涉及到模型预测概率的变化，或者模型输出特征的差异等。具体的损失函数和网络结构细节在论文中应该有更详细的描述（未知）。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，现有的视频问答模型在模态平衡性较差的数据集上表现不佳，验证了MIS的有效性。通过消融实验，论文定量分析了不同模态对于模型性能的影响，并证明了模型过度依赖单一模态的现象。具体的性能提升数据和对比基线需要在论文中查找（未知）。

🎯 应用场景

该研究成果可应用于视频内容理解、智能客服、教育等领域。通过构建模态平衡的数据集，可以提升多模态大语言模型在这些领域的应用效果。例如，在智能客服中，模型可以更好地理解用户的视频提问，并给出准确的回答。在教育领域，模型可以分析教学视频，并根据学生的提问提供个性化的辅导。

📄 摘要（原文）

Multimodal large language models (MLLMs) can simultaneously process visual, textual, and auditory data, capturing insights that complement human analysis. However, existing video question-answering (VidQA) benchmarks and datasets often exhibit a bias toward a single modality, despite the goal of requiring advanced reasoning skills that integrate diverse modalities to answer the queries. In this work, we introduce the modality importance score (MIS) to identify such bias. It is designed to assess which modality embeds the necessary information to answer the question. Additionally, we propose an innovative method using state-of-the-art MLLMs to estimate the modality importance, which can serve as a proxy for human judgments of modality perception. With this MIS, we demonstrate the presence of unimodal bias and the scarcity of genuinely multimodal questions in existing datasets. We further validate the modality importance score with multiple ablation studies to evaluate the performance of MLLMs on permuted feature sets. Our results indicate that current models do not effectively integrate information due to modality imbalance in existing datasets. Our proposed MLLM-derived MIS can guide the curation of modality-balanced datasets that advance multimodal learning and enhance MLLMs' capabilities to understand and utilize synergistic relations across modalities.