Tracing Audio Grounding and Answer Selection in Audio LLMs

📄 arXiv: 2609.04637v1 📥 PDF

作者: Hyebin Cho, Suho Yoo, Jihoo Jung, Joon Son Chung

分类: cs.CL, cs.AI, cs.LG, cs.SD

发布日期: 2026-09-04

备注: Preprint

💡 一句话要点

提出音频LLMs的音频基础与答案选择机制研究

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音频理解 大型语言模型 多模态学习 声学信息 模型训练

📋 核心要点

  1. 现有音频LLMs在音频理解上仍依赖文本线索，未能充分利用音频信息。
  2. 论文提出通过训练模型，使得答案无法仅通过文本推断，从而增强音频信息的作用。
  3. 实验结果表明，替换音频会显著降低模型性能，且音频信息在不同层次的影响不同。

📝 摘要（中文）

音频大型语言模型（Audio LLMs）在音频理解方面取得了进展，但仍然可能通过文本线索或语言先验进行推理，而非依赖提供的音频。为了解决这一问题，研究者们提出了一种训练方法，使得模型的答案无法仅通过文本推断。本文的研究发现，音频信息在模型的不同层次中对答案选择的影响存在显著差异，训练过程增强了音频证据在最终预测中的作用。这些结果为理解音频LLMs如何利用声学证据提供了机制性解释。

🔬 方法详解

问题定义：本论文旨在探讨音频LLMs在答案选择中如何有效利用音频信息。现有方法往往依赖文本线索，导致音频信息的潜力未被充分挖掘。

核心思路：论文提出通过训练模型，使得答案无法仅通过文本推断，从而增强音频信息在模型决策中的作用。通过分析模型内部机制，揭示音频信息对答案选择的影响。

技术框架：研究采用了对比实验的方法，分别评估预训练模型与训练模型在音频信息缺失时的表现。模型的不同层次对音频信息的敏感性被重点分析。

关键创新：本研究的创新在于揭示了音频信息在模型不同层次中的作用机制，特别是在中间层与最终预测层的影响差异，提供了对音频LLMs训练过程的深入理解。

关键设计：实验中采用了替换音频为静音或无关音频的方式，观察模型性能的变化。通过对比不同层次的权重学习情况，分析了音频信息在模型决策中的重要性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，替换音频为静音或无关音频时，训练模型的性能显著下降，表明音频信息对模型决策的重要性。此外，音频信息在模型中早期到中间层对答案选择的影响最为显著，而训练则增强了音频信息在最终预测中的作用。

🎯 应用场景

该研究的潜在应用领域包括音频理解、语音识别和多模态交互等。通过增强音频信息的利用，音频LLMs可以在实际应用中提供更准确的答案选择，提升用户体验。未来，随着技术的进步，该方法可能推动更复杂的音频理解任务的发展。

📄 摘要（原文）

Audio Large Language Models (Audio LLMs) have advanced in audio understanding, yet they can still predict the answer by reasoning from textual cues or linguistic priors rather than the provided audio. A common remedy is to train models on data whose answers cannot be inferred from text alone. This approach can improve performance, but what changes within the model remains unclear. In this paper, we ask what must happen inside the model for the audio to actually determine the answer. Our findings are threefold. (1) Replacing the audio with silence or unrelated audio causes substantially larger performance degradation in the trained model than in the pretrained model. (2) Acoustic information most strongly shapes the model's representations of the answer choices in early-to-middle layers, while training mainly increases the influence of audio information on the final prediction in middle-to-late layers. (3) The weights learned during training have their largest impact in specific layer bands. Together, these results provide a mechanistic account of how training strengthens the use of acoustic evidence in Audio LLMs.