I'll Keep an Ear Out: Teaching AudioLLMs Proactive Audio Assistance

📄 arXiv: 2609.21183v1 📥 PDF

作者: Amit Kumar Singh Yadav, Ritvik Shrivastava, Xuan Zhang, Seungwhan Moon, Shashank Jain, Pinar Donmez, Babak Damavandi

分类: cs.SD, cs.CL

发布日期: 2026-09-18

备注: Accepted at Interspeech 2026

💡 一句话要点

提出主动音频辅助以解决传统音频模型反应不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 主动音频辅助 音频大型语言模型 中断与静默建模 聋人辅助技术 实时音频处理

📋 核心要点

  1. 现有的音频大型语言模型仅在被询问时作出反应，无法主动监控音频流，导致对用户的辅助能力不足。
  2. 本文提出的中断与静默建模（ISM）通过特殊标记嵌入主动决策，使模型能够在音频流中自主判断何时提醒用户。
  3. 实验结果显示，ISM在多个数据集上表现优异，尤其在ESC-50上实现了99.6%的中断F1，且在嘈杂环境中也保持了高性能。

📝 摘要（中文）

音频大型语言模型（AudioLLMs）通常是被动响应的，仅在被询问时才作出反应。本文提出了一种主动音频辅助的方法，使AudioLLM能够监控音频流，并根据单一自然语言意图自主决定何时提醒用户，特别针对聋人和听力障碍用户的可穿戴应用。我们提出了中断与静默建模（ISM），一种模型无关的范式，通过两个特殊标记（和）将主动决策嵌入LLM解码中，捕捉四种状态：起始检测、持续相关触发、无关抑制和去重。在Qwen2-Audio-7B上应用ISM，获得了99.6%的中断F1和完美的去重召回率。在嘈杂的Epic-Sounds厨房音频上，ISM在没有领域特定训练的情况下实现了最高的中断F1，是唯一一个在不发生过度触发或过度抑制的情况下保持强起始检测的方法。流式评估确认了其实时可行性，平均延迟为3.5秒。

🔬 方法详解

问题定义：本文旨在解决现有音频大型语言模型在用户交互中的被动性，特别是在聋人和听力障碍用户的应用场景中，传统模型无法主动监控和响应音频流的问题。

核心思路：提出中断与静默建模（ISM），通过引入和两个特殊标记，允许模型在解码过程中自主做出主动决策，从而提升用户体验。

技术框架：ISM的整体架构包括四个主要模块：起始检测、持续相关触发、无关抑制和去重。模型在解码时根据音频流的状态动态调整响应策略。

关键创新：ISM的最大创新在于其模型无关性和主动决策能力，使得音频模型能够在不需要额外训练的情况下，适应不同的音频环境和用户需求。

关键设计：在ISM中，采用了特定的损失函数来优化中断和静默的决策过程，同时通过精心设计的网络结构来确保模型在实时处理中的高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ISM在ESC-50数据集上达到了99.6%的中断F1和完美的去重召回率。在嘈杂的Epic-Sounds厨房音频中，ISM在没有领域特定训练的情况下实现了最高的中断F1，且在流式评估中表现出3.5秒的平均延迟，验证了其实时可行性。

🎯 应用场景

该研究的潜在应用领域包括可穿戴设备、智能家居和辅助技术，尤其是为聋人和听力障碍用户提供更好的音频交互体验。通过主动音频辅助，用户能够在日常生活中更好地感知周围环境，提高生活质量。未来，该技术可能扩展到更多领域，如智能音响和自动化监控系统。

📄 摘要（原文）

Audio large language models (AudioLLMs) operate reactively, responding only when queried. We introduce proactive audio assistance, where an AudioLLM monitors an audio stream and autonomously decides when to alert the user from a single natural-language intent, motivated by wearable applications for Deaf and Hard of Hearing users. We propose Interrupt and Silent Modeling (ISM), a model-agnostic paradigm that embeds proactive decisions into LLM decoding via two special tokens: \texttt{} and \texttt{}, capturing four states: onset detection, sustained-relevance triggering, irrelevance suppression, and de-duplication. Applied to Qwen2-Audio-7B, ISM achieves 99.6\% interrupt F1 and perfect de-duplication recall on ESC-50. On noisy Epic-Sounds kitchen audio, ISM achieves the highest interrupt F1 without domain-specific training, the only method maintaining strong onset detection without over-triggering or over-suppression. Streaming evaluation confirms real-time viability with 3.5-second average latency.