AURA: Uncertainty-Routed Activation Editing for Acoustic Grounding in Speech Foundation Models

📄 arXiv: 2609.23979v1 📥 PDF

作者: Natarajan Balaji Shankar, Zilai Wang, Zihan Wang, Mohan Shi, Kaiyuan Zhang, Abeer Alwan

分类: eess.AS, cs.CL

发布日期: 2026-09-21

备注: Accepted to IEEE SLT 2026

💡 一句话要点

提出AURA以解决语音基础模型中的不确定性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音识别 不确定性处理 激活编辑 多模态学习 深度学习

📋 核心要点

  1. 现有的AED语音基础模型在处理无语音或声学证据不足的输入时，容易生成不准确的文本，导致性能下降。
  2. AURA通过冻结预训练模型并在解码器交叉注意力头上应用稀疏的激活编辑，利用不确定性特征动态调整编辑策略。
  3. 在实验中，AURA显著降低了非语音音频的幻觉率，并在不完美标签语料库上表现出接近LoRA的字错误率，且参数使用效率高。

📝 摘要（中文）

注意力编码器-解码器（AED）语音基础模型在自动语音识别（ASR）中表现出色，但在输入缺乏语音、声学证据薄弱或转录不可靠时，可能生成声学上不支持的文本。为此，本文提出AURA：不确定性路由激活编辑，作为一种超高效的表示编辑方法，冻结预训练模型并对解码器交叉注意力头应用稀疏的缩放和偏移编辑。AURA通过捕捉过度集中、扩散注意力和突发帧移的交叉注意力不确定性特征，动态路由编辑。我们在四个数据集上评估AURA，涵盖非语音幻觉和语音基础压力源，包括不完美标签的儿童语音和成人语音以及流畅性差的语音。在非语音音频上，AURA将幻觉率从89.18%降低至1.94%，且无需事先识别幻觉头。在不完美标签语料库上，AURA的字错误率接近LoRA，但使用的可训练参数减少约500倍。灵敏度分析和定性交叉注意力示例与AURA的不确定性路由编辑行为一致，支持动态激活编辑作为基础AED语音模型的实用路径。

🔬 方法详解

问题定义：本文旨在解决AED语音基础模型在输入缺乏语音或声学证据不足时生成不支持文本的问题。现有方法在处理这些情况时表现不佳，导致高幻觉率和低准确性。

核心思路：AURA的核心思路是冻结预训练模型，并通过稀疏的缩放和偏移编辑对解码器的交叉注意力头进行激活编辑。通过利用交叉注意力的不确定性特征，AURA能够动态调整编辑策略，从而提高模型的鲁棒性和准确性。

技术框架：AURA的整体架构包括三个主要模块：冻结的预训练模型、交叉注意力头的稀疏激活编辑和不确定性特征的动态路由。这些模块协同工作，以实现高效的表示编辑。

关键创新：AURA的主要创新在于其不确定性路由机制，能够根据输入的特征动态调整激活编辑，与传统的静态编辑方法相比，具有更高的灵活性和适应性。

关键设计：在设计中，AURA使用了稀疏的缩放和偏移编辑策略，并通过交叉注意力的不确定性特征来指导编辑过程。此外，AURA在参数设置上进行了优化，使得可训练参数数量减少约500倍，显著提高了训练效率。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，AURA在非语音音频上将幻觉率从89.18%降低至1.94%，且在不完美标签语料库上，其字错误率接近LoRA，同时使用的可训练参数减少约500倍，展现出显著的性能提升和效率优势。

🎯 应用场景

该研究的潜在应用领域包括自动语音识别、语音助手和人机交互系统等。通过提高模型在不确定输入下的表现，AURA能够增强这些系统的鲁棒性和用户体验，未来可能在多模态交互和智能语音应用中发挥重要作用。

📄 摘要（原文）

Attention encoder-decoder (AED) Speech Foundation Models achieve strong ASR performance but can generate acoustically unsupported text when inputs contain no speech, weak acoustic evidence, or unreliable transcription. We propose AURA: Activation-editing with Uncertainty-Routed Adaptation, an ultra-efficient representation-editing method that freezes the pretrained model and applies sparse scale-and-shift edits to decoder cross-attention heads. AURA dynamically routes edits using cross-attention uncertainty features that capture over-concentration, diffuse attention, and abrupt frame shifts. We evaluate AURA on four datasets spanning non-speech hallucination and speech grounding stressors, including imperfect-label child speech, imperfect-label adult speech, and disfluent speech. On non-speech audio, AURA reduces hallucination rate from 89.18% to 1.94% without prior hallucination-head identification. On imperfect-label corpora, AURA approaches LoRA WER while using roughly 500x fewer trainable parameters. Sensitivity analysis and qualitative cross-attention examples are consistent with AURA's uncertainty-routed editing behavior, supporting dynamic activation editing as a practical path for grounding AED speech models.