X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation

📄 arXiv: 2609.11412v1 📥 PDF

作者: Haojun Zhang, Yi Zou, Min Chen, Qize Yu, Lianrui Fan, Xini Ding, Hao Li, Shuchang Zhou, Xianming Liu, Shiyu Huang

分类: cs.SD, cs.AI

发布日期: 2026-09-10

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出X-AuT框架以优化语音大语言模型的音频编码器压缩

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音频编码器 语音识别 模型压缩 跨尺度蒸馏 LoRA微调 深度学习 自然语言处理

📋 核心要点

  1. 现有方法在降低音频编码器深度时，完全移除层会导致解码器嵌入扰动，产生错误。
  2. X-AuT框架通过短期行为探测选择层组合，并利用表示对齐和跨尺度蒸馏来恢复剪枝模型。
  3. 实验结果显示，压缩后的模型在多个基准上表现优异，错误率显著降低，验证了方法的有效性。

📝 摘要（中文）

减少音频编码器的深度可以降低语音大语言模型的推理成本，但完全移除某些层会扰动解码器使用的嵌入，导致错误。本文提出X-AuT，一个渐进式框架，通过短期行为探测选择层组合，并通过表示对齐、跨尺度蒸馏、调度学生策略监督和LoRA微调来恢复剪枝模型。实验表明，在十个公共中英基准上，压缩Qwen3-ASR-0.6B模型的音频编码器层数从18减少到16，宏平均错误率从5.61%降低至5.27%。

🔬 方法详解

问题定义：本文旨在解决在压缩语音大语言模型音频编码器时，完全移除层导致的解码器嵌入扰动和错误问题。现有方法在降低模型复杂度时，往往会引入删除和过早结束序列的错误。

核心思路：X-AuT框架通过短期行为探测选择合适的层组合，并在剪枝后通过表示对齐和跨尺度蒸馏恢复模型性能。这种设计旨在在保持推理效率的同时，尽量减少性能损失。

技术框架：该框架包括多个主要模块：短期行为探测用于选择层组合，表示对齐用于恢复剪枝模型，跨尺度蒸馏和调度学生策略监督用于优化训练过程，最后通过LoRA微调适应输出嵌入。

关键创新：最重要的创新在于通过短期行为探测和跨尺度蒸馏相结合的方式，能够有效选择和恢复音频编码器的层，避免了传统方法中直接剪枝带来的性能下降。

关键设计：在训练过程中，使用转录一致性管道的最高一致性层进行训练，并在微调阶段进行源重加权。LoRA适配器和绑定输出嵌入在蒸馏过程中进行适应，确保模型的灵活性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，将Qwen3-ASR-0.6B模型的音频编码器层数从18减少到16，宏平均错误率从5.61%降低至5.27%。14层模型在参数减少20.7%的情况下，达到5.75%的错误率，验证了渐进式剪枝的有效性。

🎯 应用场景

该研究的潜在应用领域包括语音识别、自然语言处理和智能助手等。通过优化音频编码器的压缩，能够在降低计算成本的同时，保持模型的高效性能，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Reducing audio-encoder depth lowers the inference cost of speech large language models, but removing complete blocks perturbs the embeddings consumed by the decoder and can cause deletion and premature end-of-sequence errors. We introduce X-AuT, a progressive framework that selects layer combinations through short behavioral probes and restores the pruned model through representation alignment, cross-scale distillation, scheduled student-policy supervision, and LoRA finetuning. The language-model backbone remains frozen, while attention LoRA adapters and the tied output embedding adapt during distillation. Training uses the highest-agreement tier from a transcript-consistency pipeline, followed by source reweighting during finetuning. On ten public Chinese--English benchmarks, compressing Qwen3-ASR-0.6B from 18 to 16 audio-encoder layers reduces macro-average error from 5.61% to 5.27%. The 14-layer model reaches 5.75% with 20.7% fewer audio-tower parameters. Under the matched recipe, the 1.7B teacher yields 5.55% mean error, compared with 8.45% for self-distillation, and progressive 18$\rightarrow$14 pruning outperforms direct pruning (5.75% vs. 6.73%). These single-run results establish two practical operating points and show that the accuracy effects vary across benchmarks. Project website: https://xpeng-ai.github.io/x-aut