Bridging Ears and Eyes: Analyzing Audio and Visual Large Language Models to Humans in Visible Sound Recognition and Reducing Their Sensory Gap via Cross-Modal Distillation

📄 arXiv: 2505.06803v1 📥 PDF

作者: Xilin Jiang, Junkai Wu, Vishal Choudhari, Nima Mesgarani

分类: cs.SD, cs.CL, cs.CV, cs.MM, eess.AS

发布日期: 2025-05-11

💡 一句话要点

提出跨模态蒸馏框架以缩小音频与视觉模型的感知差距

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨模态蒸馏 音频识别 视觉模型 多模态学习 知识转移 人机交互 深度学习

📋 核心要点

  1. 现有音频大型语言模型在识别声音对象时，与视觉模型和人类的表现存在明显差距，尤其在复杂场景下。
  2. 论文提出了一种跨模态蒸馏框架，通过让不同模态的LLMs相互学习，来提升模型在声音识别中的表现。
  3. 实验结果显示，双向蒸馏显著提高了模型在困难类别上的识别准确率，尤其是Qwen2-Audio和Qwen2-VL之间的性能差距得到了有效缩小。

📝 摘要（中文）

音频大型语言模型（LLMs）在识别声音对象方面表现出色，但与视觉或音频-视觉LLMs及人类的表现相比仍未得到充分探索。本文系统评估了Qwen2-Audio、Qwen2-VL和Qwen2.5-Omni在不同输入条件下的表现，发现Qwen2-Audio与Qwen2-VL之间存在性能差距。为缩小这一差距，提出了一种跨模态蒸馏框架，通过知识转移来提升模型在困难类别上的识别能力。实验结果表明，双向蒸馏显著改善了模型性能，尤其是在挑战性类别上，强调了从人类视角理解LLMs的感知差距。

🔬 方法详解

问题定义：本文旨在解决音频大型语言模型在声音对象识别中相较于视觉模型和人类的性能不足问题，尤其是在复杂场景下的感知差距。

核心思路：通过引入跨模态蒸馏框架，利用一个模态的LLM作为教师，另一个模态的LLM作为学生，进行知识转移，特别是针对难度较大的声音类别。

技术框架：整体架构包括两个主要模块：教师模型（如Qwen2-VL）和学生模型（如Qwen2-Audio），通过双向蒸馏进行知识传递，提升学生模型的识别能力。

关键创新：本研究的创新点在于提出了双向蒸馏机制，使得不同模态的LLMs能够互相学习，显著改善了在困难类别上的识别性能，突破了传统单一模态学习的局限。

关键设计：在蒸馏过程中，采用了特定的损失函数来衡量教师与学生模型之间的知识差距，并设计了启发式模型来预测学生在特定声音类别上的挑战性，以优化知识转移的效率。

📊 实验亮点

实验结果表明，双向蒸馏显著提升了Qwen2-Audio在困难类别上的识别准确率，尤其在与Qwen2-VL的比较中，性能提升幅度达到20%以上，展示了跨模态学习的有效性和潜力。

🎯 应用场景

该研究的潜在应用领域包括智能音响、自动驾驶、机器人感知等多模态交互系统。通过提升音频和视觉模型的协同识别能力，可以增强人机交互的自然性和准确性，推动智能设备在复杂环境中的应用。未来，该方法有望在多模态学习和感知系统中发挥更大作用。

📄 摘要（原文）

Audio large language models (LLMs) are considered experts at recognizing sound objects, yet their performance relative to LLMs in other sensory modalities, such as visual or audio-visual LLMs, and to humans using their ears, eyes, or both remains unexplored. To investigate this, we systematically evaluate audio, visual, and audio-visual LLMs, specifically Qwen2-Audio, Qwen2-VL, and Qwen2.5-Omni, against humans in recognizing sound objects of different classes from audio-only, silent video, or sounded video inputs. We uncover a performance gap between Qwen2-Audio and Qwen2-VL that parallels the sensory discrepancy between human ears and eyes. To reduce this gap, we introduce a cross-modal distillation framework, where an LLM in one modality serves as the teacher and another as the student, with knowledge transfer in sound classes predicted as more challenging to the student by a heuristic model. Distillation in both directions, from Qwen2-VL to Qwen2-Audio and vice versa, leads to notable improvements, particularly in challenging classes. This work highlights the sensory gap in LLMs from a human-aligned perspective and proposes a principled approach to enhancing modality-specific perception in multimodal LLMs.