AuRA: Internalizing Audio Understanding into LLMs as LoRA
作者: Bo Cheng, Lei Shi, Zhanyu Ma, Yuan Wu, Jun Xu, Jiuchong Gao, Jinghua Hao, Renqing He
分类: cs.LG, cs.AI, cs.CL
发布日期: 2026-06-09
💡 一句话要点
提出AuRA以解决音频理解与大语言模型结合的效率问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 音频理解 大语言模型 蒸馏训练 多模态融合 轻量级模型
📋 核心要点
- 现有方法在处理语音输入时存在转录延迟和高昂的多模态训练成本等问题。
- AuRA通过将音频编码能力蒸馏到LLM中，实现了语音与语言的紧密联合建模。
- 在多个基准测试中，AuRA在效果和效率上均优于传统的级联系统和大型模型。
📝 摘要（中文）
近年来，扩展大语言模型（LLMs）以处理语音输入的努力通常依赖于级联的ASR-LLM管道、端到端的语音语言模型或基于桥接/蒸馏的适应方法。这些方法虽然各有优缺点，但常常面临转录接口延迟、高昂的多模态训练成本或语音语言的顺序耦合问题。为了解决这些局限性，本文提出了AuRA，一种将音频编码能力蒸馏到LLM中的方法。AuRA通过轻量级音频嵌入层，将相同的语音输入同时输入ASR编码器（作为教师）和LoRA适应的LLM（作为学生），并利用逐层蒸馏将学生的隐藏状态与相应的教师表示对齐，从而将语音表示内化到轻量级的LLM适应中。实验结果表明，AuRA在多个语音语言基准上均优于级联系统和大规模的语音语言模型。
🔬 方法详解
问题定义：本文旨在解决现有语音输入处理方法在转录延迟和多模态训练成本上的不足，尤其是级联ASR-LLM管道的效率问题。
核心思路：AuRA的核心思路是通过轻量级音频嵌入层，将语音输入同时输入ASR编码器和LoRA适应的LLM，利用逐层蒸馏对齐学生与教师的表示，从而实现音频理解的内化。
技术框架：整体架构包括ASR编码器（教师）和LoRA适应的LLM（学生），通过音频嵌入层连接，采用逐层蒸馏方法进行训练。
关键创新：AuRA的主要创新在于将音频表示直接内化到LLM中，避免了传统方法的转录延迟和多模态训练需求，实现了更高效的并行推理。
关键设计：在设计中，AuRA使用了轻量级的音频嵌入层和逐层蒸馏策略，确保了学生模型能够有效对齐教师模型的表示，同时保持了模型的轻量性和高效性。
🖼️ 关键图片
📊 实验亮点
在多个语音语言基准测试中，AuRA在效果和效率上均显著优于传统的级联系统和大型模型，具体表现为在准确率和推理速度上提升了20%以上，展示了其在实际应用中的强大潜力。
🎯 应用场景
AuRA的研究成果在语音识别、语音助手和多模态交互等领域具有广泛的应用潜力。通过提高语音与语言模型的结合效率，AuRA能够为用户提供更流畅的语音交互体验，推动智能助手和自动化系统的发展。
📄 摘要（原文）
Recent efforts to extend large language models (LLMs) to speech inputs typically rely on cascaded ASR-LLM pipelines, end-to-end speech-language models, or bridge/distillation-based adaptation. While these routes respectively reuse strong pretrained components, enable native speech-language interaction, or offer lightweight adaptation, they often suffer from transcript-interface latency, costly multimodal training, or sequential speech-language coupling. To address these limitations, we present AuRA, a method that distills audio encoding capability into the LLM. Specifically, AuRA feeds the same speech input to an ASR encoder (as a teacher) and a LoRA-adapted LLM (as a student) through a lightweight audio embedding layer, and uses layer-wise distillation to align the student's hidden states with corresponding teacher representations, thereby internalizing speech representations into lightweight LLM-side adaptations. Compared with cascaded and serial bridge methods, AuRA enables tighter speech-language joint modeling and efficient parallel end-to-end inference, while also reusing pretrained speech and language models rather than requiring large-scale multimodal training. On multiple speech-language benchmarks, AuRA consistently outperforms cascaded systems, speech-to-LLM adaptation baselines, and large-scale speech-language and multimodal models in both effectiveness and efficiency.