AudioTETRIS: Token Elimination via Transitional Importance Signals for Efficient Audio LLMs

📄 arXiv: 2610.13600v1 📥 PDF

作者: Shreya Sajid, Anna Vettoruzzo, Joaquin Vanschoren

分类: cs.SD, cs.AI, eess.AS

发布日期: 2026-10-09

💡 一句话要点

提出AudioTETRIS以解决音频语言模型的高计算成本问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音频语言模型 token压缩 无训练方法 声学先验 推理效率

📋 核心要点

  1. 现有音频语言模型在处理短音频片段时生成大量token，导致推理计算量显著增加。
  2. AudioTETRIS通过音频编码器的表示几何作为声学先验，提出了一种无训练的token重要性计算方法。
  3. 在多个基准测试中，AudioTETRIS在仅使用25%音频token的情况下，仍能保持接近未压缩的性能。

📝 摘要（中文）

大型音频语言模型（LALMs）在语音文本任务中表现出色，但标准音频编码器对短音频片段生成数百个token，导致推理时计算量大幅增加。现有的无训练token压缩方法仅基于粗略的注意力或特征相似性进行剪枝或合并，忽视了音频token的结构性时序模式。本文提出AudioTETRIS，一个无训练的两阶段框架，利用音频编码器的表示几何作为声学先验，计算token重要性，从而在解码器中进行基于注意力的压缩。实验表明，AudioTETRIS在多个语音任务上仅使用25%的音频token即可保持接近未压缩的性能，且在中等压缩率下匹配或超越全token的准确性。

🔬 方法详解

问题定义：本文旨在解决大型音频语言模型在推理时因token数量过多而导致的计算成本高的问题。现有方法在token压缩时未能充分考虑音频信号的时序结构，导致重要的声学信息丢失。

核心思路：AudioTETRIS的核心思路是利用音频编码器的表示几何作为声学先验，计算每个token的重要性评分，从而在解码器中进行有效的token选择，而不是在编码阶段后直接丢弃结构信息。

技术框架：AudioTETRIS采用两阶段框架，第一阶段计算token的重要性评分，第二阶段基于这些评分进行top-k token的选择。该方法无需额外的训练或辅助模型，直接在解码器中实现。

关键创新：AudioTETRIS的主要创新在于将音频编码器的几何信息直接引入解码器，形成每个token的融合评分，这一方法显著提高了token选择的精确性，与现有的基于注意力的压缩方法相比，能更好地保留音频信号的细节。

关键设计：在设计中，AudioTETRIS采用了基于注意力的评分机制，确保在选择token时考虑到声学过渡的密集信息，同时保持了较低的计算复杂度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Qwen2-Audio-7B、Phi-4-Multimodal和Audio Flamingo 3的评估中，AudioTETRIS在多个语音任务上仅使用25%的音频token，仍能保持接近未压缩的性能，且在中等压缩率下的准确性与全token模型相当或更优，显著超越现有的无训练基线。

🎯 应用场景

AudioTETRIS的研究成果在语音识别、语音合成和自然语言处理等领域具有广泛的应用潜力。通过减少推理时的计算需求，该方法可以使得音频语言模型在资源受限的设备上运行更加高效，从而推动智能助手、语音翻译等技术的普及与发展。

📄 摘要（原文）

Large Audio Language Models (LALMs) achieve strong performance on speech-text tasks, but standard audio encoders produce hundreds of tokens for even short audio clips. Because self-attention scales quadratically in sequence length, this inflates inference-time compute substantially. Current training-free token compression methods prune or merge tokens based solely on coarse attention or feature similarity. However, treating audio tokens as generic, isotropic features smooths over spectral transitions, destroying fine-grained phonetic transitions essential for decoding speech. In contrast, speech signals exhibit highly structured temporal patterns where information density peaks at acoustic transitions. We propose AudioTETRIS, a training-free, two-stage framework that uses the audio encoder's representation geometry as an acoustic prior for token importance before applying attention-based compression. Instead of discarding encoder structure after the encoding stage, AudioTETRIS propagates this prior directly into the LLM decoder to compute a per-token fused score. This score drives progressive top-$k$ token selection across decoder layers without requiring additional training or auxiliary models. Evaluated on Qwen2-Audio-7B, Phi-4-Multimodal, and Audio Flamingo 3, AudioTETRIS retains near-uncompressed performance on several speech tasks using only 25% of audio tokens, matches or surpasses full-token accuracy at moderate compression rates, and consistently outperforms existing training-free baselines.