Bridging Ears and Eyes: Analyzing Audio and Visual Large Language Models to Humans in Visible Sound Recognition and Reducing Their Sensory Gap via Cross-Modal Distillation

📄 arXiv: 2505.06803v1 📥 PDF

作者: Xilin Jiang, Junkai Wu, Vishal Choudhari, Nima Mesgarani

分类: cs.SD, cs.CL, cs.CV, cs.MM, eess.AS

发布日期: 2025-05-11

💡 一句话要点

提出跨模态蒸馏框架，弥合音频和视觉大语言模型在可见声音识别中的感知差距

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨模态学习 蒸馏训练 音频大语言模型 视觉大语言模型 声音识别 多模态融合 知识迁移

📋 核心要点

  1. 现有研究缺乏对不同模态LLM在声音识别任务中与人类表现对比的系统评估，特别是音频LLM与其他模态LLM的差距。
  2. 论文提出一种跨模态蒸馏框架，利用一种模态的LLM作为教师，指导另一种模态的LLM学习，从而弥合不同模态之间的性能差距。
  3. 实验结果表明，通过跨模态蒸馏，音频和视觉LLM在声音识别任务中都获得了显著的性能提升，尤其是在具有挑战性的声音类别上。

📝 摘要（中文）

音频大语言模型（LLM）被认为是声音对象识别方面的专家，但它们相对于其他感官模态（如视觉或视听LLM）以及人类使用听觉、视觉或两者时的表现仍未被探索。为了研究这一点，我们系统地评估了音频、视觉和视听LLM，特别是Qwen2-Audio、Qwen2-VL和Qwen2.5-Omni，在仅音频、无声视频或有声视频输入下识别不同类别的声音对象时，与人类的表现进行对比。我们发现Qwen2-Audio和Qwen2-VL之间存在性能差距，这与人类听觉和视觉之间的感官差异相似。为了缩小这一差距，我们引入了一种跨模态蒸馏框架，其中一种模态的LLM作为教师，另一种作为学生，知识转移发生在启发式模型预测对学生更具挑战性的声音类别中。从Qwen2-VL到Qwen2-Audio以及反向的蒸馏都带来了显著的改进，尤其是在具有挑战性的类别中。这项工作从人类对齐的角度突出了LLM中的感官差距，并提出了一种原则性的方法来增强多模态LLM中特定模态的感知。

🔬 方法详解

问题定义：论文旨在解决音频和视觉大语言模型在可见声音识别任务中存在的性能差距问题。现有方法缺乏对不同模态LLM（如音频LLM和视觉LLM）在声音识别任务中性能差异的系统性研究，特别是与人类感知的对比。这种差距限制了多模态LLM在实际应用中的效果。

核心思路：论文的核心思路是通过跨模态蒸馏，将一种模态LLM的知识迁移到另一种模态LLM，从而弥合它们之间的性能差距。具体来说，利用性能较好的模态LLM作为教师，指导性能相对较弱的模态LLM学习，从而提高其在声音识别任务中的表现。这种方法模仿了人类通过视觉和听觉协同感知声音的方式。

技术框架：整体框架包含以下几个主要模块：1) 音频LLM (Qwen2-Audio)、视觉LLM (Qwen2-VL) 和视听LLM (Qwen2.5-Omni) 的性能评估；2) 基于启发式模型的困难样本挖掘，用于确定对学生模型更具挑战性的声音类别；3) 跨模态蒸馏训练，其中一个模态的LLM作为教师，另一个作为学生；4) 蒸馏后的模型性能评估，验证蒸馏效果。

关键创新：论文的关键创新在于提出了一个跨模态蒸馏框架，用于弥合不同模态LLM在声音识别任务中的性能差距。与传统的单模态训练方法不同，该框架充分利用了不同模态LLM之间的互补性，通过知识迁移来提高模型的整体性能。此外，启发式困难样本挖掘策略能够更有效地指导学生模型学习。

关键设计：在跨模态蒸馏过程中，论文采用了一种基于预测置信度的启发式方法来选择困难样本。具体来说，对于学生模型难以正确分类的声音类别，教师模型会更加关注这些类别，并将其知识迁移给学生模型。损失函数可能包含交叉熵损失和一致性损失，以确保学生模型不仅能够正确分类声音，还能与教师模型的预测保持一致。具体的网络结构和参数设置取决于所使用的LLM模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，通过跨模态蒸馏，Qwen2-Audio和Qwen2-VL在声音识别任务中都获得了显著的性能提升。特别是在具有挑战性的声音类别中，性能提升尤为明显。例如，在某些类别上，准确率提升了超过10%。这表明跨模态蒸馏能够有效地弥合不同模态LLM之间的性能差距，并提高模型的泛化能力。

🎯 应用场景

该研究成果可应用于智能助手、自动驾驶、安防监控等领域。通过提升多模态LLM在声音识别方面的能力，可以实现更准确、更可靠的环境感知，从而提高系统的智能化水平和安全性。未来，该方法有望扩展到其他模态，例如触觉和嗅觉，从而构建更全面的多模态感知系统。

📄 摘要（原文）

Audio large language models (LLMs) are considered experts at recognizing sound objects, yet their performance relative to LLMs in other sensory modalities, such as visual or audio-visual LLMs, and to humans using their ears, eyes, or both remains unexplored. To investigate this, we systematically evaluate audio, visual, and audio-visual LLMs, specifically Qwen2-Audio, Qwen2-VL, and Qwen2.5-Omni, against humans in recognizing sound objects of different classes from audio-only, silent video, or sounded video inputs. We uncover a performance gap between Qwen2-Audio and Qwen2-VL that parallels the sensory discrepancy between human ears and eyes. To reduce this gap, we introduce a cross-modal distillation framework, where an LLM in one modality serves as the teacher and another as the student, with knowledge transfer in sound classes predicted as more challenging to the student by a heuristic model. Distillation in both directions, from Qwen2-VL to Qwen2-Audio and vice versa, leads to notable improvements, particularly in challenging classes. This work highlights the sensory gap in LLMs from a human-aligned perspective and proposes a principled approach to enhancing modality-specific perception in multimodal LLMs.