Aligned Better, Listen Better for Audio-Visual Large Language Models

📄 arXiv: 2504.02061v1 📥 PDF

作者: Yuxin Guo, Shuailei Ma, Shijie Ma, Xiaoyi Bao, Chen-Wei Xie, Kecheng Zheng, Tingyu Weng, Siyang Sun, Yun Zheng, Wei Zou

分类: cs.CV, cs.MM, cs.SD, eess.AS

发布日期: 2025-04-02

备注: Accepted to ICLR 2025

💡 一句话要点

Dolphin：提出对齐更优、听觉更佳的音视频大语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音视频大语言模型 多模态融合 时空对齐 视频理解 音频理解

📋 核心要点

  1. 现有Video-LLMs和AV-LLMs在音频信息利用上存在不足，导致理解能力弱，易产生幻觉。
  2. Dolphin模型通过音视频多尺度适配器实现空间对齐，并通过音视频交错融合实现时间对齐。
  3. AVU数据集包含520万个数据元组，采用新颖的数据划分策略，实验表明模型性能显著提升。

📝 摘要（中文）

音频对于多模态视频理解至关重要。视频本身就包含音频，它为视觉提供了补充信息。此外，视频大语言模型（Video-LLMs）可能会遇到许多以音频为中心的场景。然而，现有的Video-LLMs和音视频大语言模型（AV-LLMs）在利用音频信息方面存在不足，导致理解能力较弱和产生幻觉。为了解决这些问题，我们深入研究了模型架构和数据集。(1) 从架构的角度来看，我们提出了一个细粒度的AV-LLM，即Dolphin。音频和视觉模态在时间和空间维度上的并发对齐确保了对视频的全面和准确理解。具体来说，我们设计了一个用于多尺度信息聚合的音视频多尺度适配器，实现了空间对齐。对于时间对齐，我们提出了音视频交错融合。(2) 从数据集的角度来看，我们整理了一个音视频字幕和指令调优数据集，称为AVU。它包含520万个多样化的、开放式的数据元组（视频、音频、问题、答案），并引入了一种新颖的数据划分策略。大量的实验表明，我们的模型不仅在音视频理解方面取得了显著的性能，而且减轻了潜在的幻觉。

🔬 方法详解

问题定义：现有Video-LLMs和AV-LLMs在处理音视频数据时，对音频信息的利用不足，导致模型在理解视频内容时出现偏差，甚至产生幻觉。尤其是在需要音频信息辅助理解的场景下，模型的表现不佳。现有方法在音视频模态的对齐方面不够精细，无法充分挖掘音频的价值。

核心思路：Dolphin模型的核心思路是在模型架构和数据集两个方面同时进行改进，以提升模型对音视频信息的理解能力。在架构上，通过精细化的时空对齐机制，使模型能够更准确地融合音频和视觉信息。在数据集上，构建高质量的音视频数据集，并采用有效的数据划分策略，提升模型的训练效果。

技术框架：Dolphin模型的技术框架主要包括以下几个模块：1) 音视频特征提取模块：用于提取视频和音频的特征表示。2) 音视频多尺度适配器：用于实现空间对齐，聚合多尺度信息。3) 音视频交错融合模块：用于实现时间对齐，融合音频和视觉信息。4) 大语言模型：用于进行最终的视频理解和问答。整体流程是先分别提取音视频特征，然后通过多尺度适配器和交错融合模块进行模态融合，最后输入大语言模型进行推理。

关键创新：Dolphin模型最重要的技术创新点在于其精细化的音视频时空对齐机制。传统的AV-LLMs通常采用简单的拼接或注意力机制进行模态融合，而Dolphin模型通过音视频多尺度适配器和音视频交错融合模块，实现了更精确的空间和时间对齐。这种精细化的对齐方式能够更好地捕捉音视频之间的关联性，从而提升模型的理解能力。

关键设计：在音视频多尺度适配器中，采用了多层感知机（MLP）结构，用于将不同尺度的音视频特征映射到同一空间。在音视频交错融合模块中，采用了交替的方式融合音频和视觉信息，以捕捉时间上的依赖关系。AVU数据集采用了novel data partitioning strategy，具体细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Dolphin模型在音视频理解方面取得了显著的性能提升，并且减轻了潜在的幻觉。具体性能数据未知，但论文强调了模型在音视频理解任务上的卓越表现，并通过实验验证了其有效性。与现有AV-LLMs相比，Dolphin模型在处理音频相关任务时表现更佳。

🎯 应用场景

该研究成果可应用于智能视频分析、视频内容理解、智能客服、视频搜索等领域。例如，在智能视频分析中，可以利用该模型对视频中的事件进行识别和理解；在智能客服中，可以利用该模型回答用户关于视频内容的提问；在视频搜索中，可以利用该模型根据用户的语音或文字描述搜索相关的视频。

📄 摘要（原文）

Audio is essential for multimodal video understanding. On the one hand, video inherently contains audio, which supplies complementary information to vision. Besides, video large language models (Video-LLMs) can encounter many audio-centric settings. However, existing Video-LLMs and Audio-Visual Large Language Models (AV-LLMs) exhibit deficiencies in exploiting audio information, leading to weak understanding and hallucinations. To solve the issues, we delve into the model architecture and dataset. (1) From the architectural perspective, we propose a fine-grained AV-LLM, namely Dolphin. The concurrent alignment of audio and visual modalities in both temporal and spatial dimensions ensures a comprehensive and accurate understanding of videos. Specifically, we devise an audio-visual multi-scale adapter for multi-scale information aggregation, which achieves spatial alignment. For temporal alignment, we propose audio-visual interleaved merging. (2) From the dataset perspective, we curate an audio-visual caption and instruction-tuning dataset, called AVU. It comprises 5.2 million diverse, open-ended data tuples (video, audio, question, answer) and introduces a novel data partitioning strategy. Extensive experiments show our model not only achieves remarkable performance in audio-visual understanding, but also mitigates potential hallucinations.