Long-Term Memory-Guided Enhancement for Target Perception in Audio-Language Models

📄 arXiv: 2609.36577v1 📥 PDF

作者: Zhenhong Zhou, Xuanyue Zhao, Youji Liu, Yuanhe Zhang, Xiaoyu Ma, Lianyu Hu, Yang Liu

分类: cs.SD, cs.AI, cs.CL

发布日期: 2026-09-29

备注: 28 pages, 5 figures, 17 tables

🔗 代码/项目: GITHUB

💡 一句话要点

提出长时记忆引导音频增强以改善目标感知问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音频增强 长时记忆 目标感知 音频处理 机器学习

📋 核心要点

  1. 核心问题：现有音频大型语言模型在复杂环境中对目标声音的感知能力受到背景噪声和干扰源的严重影响。
  2. 方法要点：提出长时记忆引导音频增强（LTM-AE），通过提取干净参考录音的表示来改善目标声音的感知，而无需重新训练模型。
  3. 实验或效果：LTM-AE在多个开放源模型上实现了29.53到46.15个百分点的准确率提升，并显著降低了语音内容恢复的错误率。

📝 摘要（中文）

音频大型语言模型（ALLMs）能够推理音频录音的内容以执行复杂任务。然而，在现实环境中，背景噪声和竞争源的干扰使得这些能力通常失效。受人类听觉长时记忆的启发，本文提出了长时记忆引导音频增强（LTM-AE），旨在通过精炼ALLMs的音频表示来改善选择性目标感知，而无需重新训练。LTM-AE从单独的干净参考录音中提取每个类别的隐藏状态表示作为长时记忆，指导增强过程朝向用户指定的听觉目标。通过重构选定类别的长时记忆中的音频标记，并与原始标记进行插值，控制存储的听觉经验的影响，同时保持所有ALLM参数不变。实验结果表明，LTM-AE在三种干扰源中增强了对指定目标的响应，准确率提升范围为29.53到46.15个百分点。

🔬 方法详解

问题定义：本文旨在解决音频大型语言模型在现实环境中因背景噪声和干扰源导致的目标声音感知能力下降的问题。现有方法在复杂音频环境下的表现不佳，无法有效区分目标声音与干扰。

核心思路：提出长时记忆引导音频增强（LTM-AE），通过利用人类听觉的长时记忆机制，提取干净音频的表示作为参考，指导模型增强对特定目标声音的感知。该方法不需要对模型进行重新训练，降低了实现的复杂性。

技术框架：LTM-AE的整体架构包括三个主要模块：音频表示提取模块、长时记忆存储模块和增强模块。首先，从干净的参考录音中提取音频表示，然后将其存储为长时记忆，最后通过插值重构输入音频标记与长时记忆进行结合。

关键创新：LTM-AE的创新点在于引入了长时记忆的概念，通过对干净音频的表示进行插值，增强了对目标声音的感知能力。这一方法与传统的音频增强技术相比，能够在不改变模型参数的情况下，显著提高目标声音的识别率。

关键设计：在设计中，LTM-AE使用了插值策略来控制长时记忆的影响程度，同时保持ALLM的参数不变。此外，针对语音内容恢复，增加了学习的标记级门控机制，以进一步降低错误率。具体的参数设置和损失函数设计在实验部分进行了详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LTM-AE在多个开放源模型上实现了29.53到46.15个百分点的准确率提升，尤其在语音内容恢复中，Qwen2-Audio的错误率从23.07%降低至14.77%，展现了显著的性能改进。

🎯 应用场景

该研究的潜在应用领域包括语音识别、音频监控和人机交互等场景，能够有效提升在嘈杂环境中的目标声音识别能力。未来，该方法可能推动音频处理技术的发展，改善人们在复杂环境中的听觉体验。

📄 摘要（原文）

Audio large language models (ALLMs) can reason about the content of audio recordings to perform complex tasks. However, these capabilities usually collapse in real-world environments when background noise and competing sources mix the target sound. Inspired by long-term memory in human listening, we propose Long-Term Memory-Guided Audio Enhancement (LTM-AE) to improve selective target perception by refining the audio representations of ALLMs without training. LTM-AE extracts representations in hidden states from separate clean reference recordings as long-term memory for each category, guiding enhancement toward a user-specified listening target. We reconstruct incoming audio tokens in the selected category long-term memory and interpolate the reconstructions with the original tokens before language backbone decoding. This interpolation controls the influence of stored auditory experience while keeping all ALLM parameters fixed. Diagnostic readouts across twenty sound categories and three ALLMs show that LTM-AE strengthens responses to a specified target amid three interfering sources. Averaged over constrained and free-form classification, accuracy gains over raw mixtures range from 29.53 to 46.15 percentage points across multiple open source models. For speech content recovery, LTM-AE with an additional learned token-level gate reduces Qwen2-Audio's word error rate from 23.07% to 14.77%. This work takes an initial step toward using principles of human long-term memory to enhance ALLMs for real-world listening. Our code is available at https://github.com/aynlp/ltm-audio-code