Noise-Aware In-Context Learning for Hallucination Mitigation in ALLMs

📄 arXiv: 2604.09021v1 📥 PDF

作者: Qixuan Huang, Khalid Zaman, Masashi Unoki

分类: cs.SD, cs.AI

发布日期: 2026-04-10

💡 一句话要点

提出噪声感知上下文学习方法，缓解听觉大语言模型中的幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 听觉大语言模型 幻觉缓解 上下文学习 噪声感知 音频字幕

📋 核心要点

  1. 现有听觉大语言模型存在幻觉问题，且现有评估方法无法充分描述复杂的幻觉模式，缓解策略依赖微调，成本高昂。
  2. 提出噪声感知上下文学习(NAICL)方法，通过构建噪声先验库，检索相关噪声示例，引导模型减少推测性关联。
  3. 构建了Clotho-1K多事件幻觉基准数据集，定义了四种听觉幻觉类型，实验表明NAICL方法可有效降低幻觉率。

📝 摘要（中文）

听觉大语言模型(ALLMs)在音频理解和推理任务中表现出强大的通用能力。然而，幻觉问题仍然削弱了它们的可靠性。现有的幻觉评估方法被形式化为二元分类任务，不足以描述生成任务中出现的更复杂的幻觉模式。此外，当前的幻觉缓解策略依赖于微调，导致高昂的计算成本。为了解决上述局限性，我们提出了一种即插即用的噪声感知上下文学习(NAICL)方法。具体来说，我们构建了一个噪声先验库，检索与输入音频相关的噪声示例，并将它们作为上下文先验，从而引导模型在声学证据不足时减少推测性关联，并采取更保守的生成策略。此外，我们建立了一个用于音频字幕任务的幻觉基准，包括构建Clotho-1K多事件基准数据集，定义四种类型的听觉幻觉，并引入幻觉类型分布等指标以支持细粒度分析。实验结果表明，所有评估的ALLM都表现出相同的幻觉行为。此外，所提出的NAICL方法将总体幻觉率从26.53%降低到16.98%。

🔬 方法详解

问题定义：论文旨在解决听觉大语言模型（ALLMs）在音频理解和生成任务中存在的幻觉问题。现有方法主要依赖于二元分类进行幻觉评估，无法捕捉生成任务中复杂的幻觉模式。此外，现有的幻觉缓解策略通常需要对模型进行微调，计算成本高昂，难以实际应用。

核心思路：论文的核心思路是利用上下文学习，通过引入与输入音频相关的噪声先验信息，引导模型在缺乏足够声学证据时采取更保守的生成策略，从而减少幻觉的产生。这种方法无需微调，可以作为即插即用的模块集成到现有的ALLM中。

技术框架：NAICL方法主要包含以下几个阶段：1) 构建噪声先验库：收集各种噪声样本，形成一个噪声库。2) 噪声检索：对于给定的输入音频，从噪声库中检索与该音频相关的噪声样本。3) 上下文融合：将检索到的噪声样本作为上下文信息，与原始输入音频一起输入到ALLM中。4) 生成：ALLM基于融合了噪声信息的上下文进行音频描述生成。

关键创新：该方法最大的创新点在于提出了噪声感知的上下文学习框架，将噪声信息显式地引入到模型的输入中，从而影响模型的生成过程。与传统的微调方法相比，NAICL无需训练，具有更高的效率和灵活性。此外，论文还构建了一个新的幻觉评估基准，为更细粒度的幻觉分析提供了支持。

关键设计：噪声先验库的构建需要考虑噪声的多样性和代表性。噪声检索模块可以使用各种相似度度量方法，例如余弦相似度或基于深度学习的嵌入相似度。上下文融合的方式可以采用拼接、注意力机制等。论文中具体采用哪种方式未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的NAICL方法能够有效降低听觉大语言模型中的幻觉率，从26.53%降低到16.98%。该方法在不进行模型微调的情况下，显著提升了ALLM的可靠性，验证了噪声感知上下文学习的有效性。同时，论文构建的Clotho-1K多事件幻觉基准为后续研究提供了宝贵的数据资源。

🎯 应用场景

该研究成果可应用于各种音频理解和生成任务，例如语音助手、智能音箱、自动音频标注等。通过降低听觉大语言模型中的幻觉问题，可以提高这些应用在实际场景中的可靠性和用户体验。此外，该方法无需微调的特性使其易于部署和集成，具有广泛的应用前景。

📄 摘要（原文）

Auditory large language models (ALLMs) have demonstrated strong general capabilities in audio understanding and reasoning tasks. However, their reliability is still undermined by hallucination issues. Existing hallucination evaluation methods are formulated as binary classification tasks, which are insufficient to characterize the more complex hallucination patterns that arise in generative tasks. Moreover, current hallucination mitigation strategies rely on fine-tuning, resulting in high computational costs. To address the above limitations, we propose a plug-and-play Noise-Aware In-Context Learning (NAICL) method. Specifically, we construct a noise prior library, retrieve noise examples relevant to the input audio, and incorporate them as contextual priors, thereby guiding the model to reduce speculative associations when acoustic evidence is insufficient and to adopt a more conservative generation strategy. In addition, we establish a hallucination benchmark for audio caption tasks including the construction of the Clotho-1K multi-event benchmark dataset, the definition of four types of auditory hallucinations, and the introduction of metrics such as hallucination type distribution to support fine-grained analysis. Experimental results show that all evaluated ALLMs exhibit same hallucination behaviors. Moreover, the proposed NAICL method reduces the overall hallucination rate from 26.53% to 16.98%.