Understanding Sounds, Missing the Questions: The Challenge of Object Hallucination in Large Audio-Language Models

📄 arXiv: 2406.08402v1 📥 PDF

作者: Chun-Yi Kuan, Wei-Ping Huang, Hung-yi Lee

分类: eess.AS, cs.CL, cs.LG, cs.SD

发布日期: 2024-06-12

备注: Accepted to Interspeech 2024

💡 一句话要点

揭示大型音频语言模型中的对象幻觉问题及判别性查询的挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型音频语言模型 对象幻觉 判别性问题 提示工程 音频理解 多模态学习 可靠性评估

📋 核心要点

  1. 现有大型音频语言模型(LALMs)在可靠性方面存在不足，特别是容易产生对象幻觉，影响其在实际应用中的可信度。
  2. 该论文提出评估LALMs对象幻觉程度的方法，并探索提示工程以提升LALMs在判别性问题上的表现。
  3. 实验表明，LALMs在音频内容理解上与专业模型相当，但在判别性问题上存在明显不足，提示工程有一定改善效果。

📝 摘要（中文）

大型音频语言模型(LALMs)通过整合音频感知能力增强了传统的大型语言模型，使其能够处理与音频相关的任务。以往的研究主要集中于评估LALMs在各种任务中的性能，而忽略了它们的可靠性，特别是像对象幻觉这样的问题。在本研究中，我们引入了评估公开可用的LALMs的对象幻觉程度的方法。我们的研究结果表明，LALMs在理解音频内容方面与专门的音频字幕模型相当，但在回答判别性问题时表现不佳，特别是那些需要识别音频剪辑中特定对象声音是否存在的问题。这一局限性突出了当前LALMs的一个关键弱点：它们对判别性查询的理解不足。此外，我们还探索了提示工程在提高LALMs在判别性问题上的性能方面的潜力。

🔬 方法详解

问题定义：论文旨在解决大型音频语言模型（LALMs）中存在的对象幻觉问题，以及LALMs在回答判别性问题时的不足。现有LALMs虽然在音频理解方面取得进展，但容易错误地识别或生成不存在于音频中的对象，并且难以准确回答关于特定对象声音是否存在的提问，这限制了其在需要高可靠性的场景中的应用。

核心思路：论文的核心思路是通过设计特定的评估方法来量化LALMs的对象幻觉程度，并分析其在判别性问题上的表现。同时，探索提示工程（Prompt Engineering）作为一种潜在的解决方案，通过优化输入提示来引导LALMs更准确地回答问题，减少幻觉的产生。

技术框架：论文的技术框架主要包括以下几个部分：1) 构建用于评估对象幻觉和判别性问题的测试数据集；2) 选择公开可用的LALMs作为评估对象；3) 设计评估指标来量化对象幻觉的程度和判别性问题的回答准确率；4) 应用不同的提示工程策略，并评估其对LALMs性能的影响。

关键创新：论文的关键创新在于：1) 首次系统性地研究了LALMs中的对象幻觉问题，并提出了相应的评估方法；2) 强调了LALMs在判别性问题上的不足，这在以往的研究中被忽视；3) 探索了提示工程在缓解对象幻觉和提升判别性问题回答准确率方面的潜力。

关键设计：论文的关键设计包括：1) 设计了包含多种音频场景和对象声音的测试数据集，以全面评估LALMs的对象幻觉；2) 采用了多种提示工程策略，例如使用更明确的指令或提供上下文信息，以引导LALMs更准确地回答问题；3) 使用准确率、召回率等指标来量化LALMs在判别性问题上的表现。

🖼️ 关键图片

fig_0

📊 实验亮点

研究表明，LALMs在理解音频内容方面与专门的音频字幕模型相当，但在回答判别性问题时表现不佳，突显了LALMs对判别性查询的理解不足。通过提示工程，LALMs在判别性问题上的性能得到了一定程度的提升，但仍有很大的改进空间。

🎯 应用场景

该研究成果可应用于提升智能语音助手、音频内容分析、安全监控等领域中音频理解系统的可靠性。通过降低对象幻觉，可以提高语音交互的准确性和用户体验。未来，该研究可以促进更鲁棒、更值得信赖的音频语言模型的开发，并推动其在更多实际场景中的应用。

📄 摘要（原文）

Large audio-language models (LALMs) enhance traditional large language models by integrating audio perception capabilities, allowing them to tackle audio-related tasks. Previous research has primarily focused on assessing the performance of LALMs across various tasks, yet overlooking their reliability, particularly concerning issues like object hallucination. In our study, we introduce methods to assess the extent of object hallucination of publicly available LALMs. Our findings reveal that LALMs are comparable to specialized audio captioning models in their understanding of audio content, but struggle to answer discriminative questions, specifically those requiring the identification of the presence of particular object sounds within an audio clip. This limitation highlights a critical weakness in current LALMs: their inadequate understanding of discriminative queries. Moreover, we explore the potential of prompt engineering to enhance LALMs' performance on discriminative questions.