FastE: Readout-Triggered Token Compression for LLM Embedding Inference

📄 arXiv: 2609.08407v1 📥 PDF

作者: Jinsong Shu, Jinyong Wen, Baokun Wang, Zhongle Xie, Lidan Shou, Weiqiang Wang, Gang Chen

分类: cs.AI

发布日期: 2026-09-08

备注: 10 pages, 6 figures

💡 一句话要点

提出FastE以解决LLM嵌入推理中的前缀冗余问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM嵌入 前缀冗余 压缩方法 注意力机制 信息检索 多模态表示 计算效率

📋 核心要点

  1. 现有的LLM嵌入模型在推理过程中存在前缀冗余问题，特别是在浅层网络中去除前缀状态会导致性能显著下降。
  2. FastE是一种无需重新训练的压缩方法，通过在线启发式选择压缩时机，并根据注意力分数排序前缀状态以优化性能。
  3. 在NarrativeQA数据集上，FastE在Qwen3-Embedding-0.6B模型中将解码器骨干的FLOPs降低了40.11%，同时保持了99.53%的nDCG@10性能。

📝 摘要（中文）

本研究识别了最终读出LLM嵌入模型中的深度依赖前缀冗余，特别是在Qwen3-Embedding和Qwen3-VL-Embedding等代表性骨干网络中。我们发现，去除前缀状态在浅层的影响显著大于深层，表明随着前缀和读出状态在网络中的传播，前缀状态的可压缩性逐渐增强。为此，我们提出了FastE，这是一种无需训练的即插即用方法。FastE使用批均值读出-前缀对齐的固定阈值作为轻量级在线启发式，以选择何时进行压缩，并通过读出位置接收到的注意力分数对前缀状态进行排序，以确定在后续层中保留哪些状态。我们的评估表明，FastE能够显著降低计算成本。

🔬 方法详解

问题定义：本研究旨在解决LLM嵌入模型中的前缀冗余问题，尤其是在浅层网络中去除前缀状态对性能的负面影响。现有方法未能有效利用前缀状态的可压缩性，导致计算资源浪费。

核心思路：论文提出FastE方法，通过使用固定阈值和注意力分数来选择压缩时机和保留状态，从而减少计算成本而不需要重新训练模型。这样的设计旨在提高嵌入推理的效率。

技术框架：FastE的整体架构包括两个主要模块：首先是基于批均值的读出-前缀对齐的在线启发式选择，其次是根据注意力分数对前缀状态进行排序，以确定在后续层中保留的状态。

关键创新：FastE的核心创新在于其无需训练的特性和轻量级的在线启发式选择机制，这与传统的需要大量训练的压缩方法有本质区别。

关键设计：FastE使用固定的阈值来判断何时进行压缩，并通过注意力分数对前缀状态进行排序，确保在压缩过程中尽可能保留重要信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，FastE在NarrativeQA数据集上实现了40.11%的FLOPs减少，同时保持了99.53%的nDCG@10性能。此外，在五个文本嵌入基准、两种骨干网络规模和三种跨模态检索任务中，FastE展示了可定制的质量-效率权衡，具有广泛的适用性。

🎯 应用场景

该研究的潜在应用领域包括信息检索、索引、聚类和多模态表示系统。FastE的高效性使其能够在大规模嵌入生成中发挥重要作用，尤其是在需要快速响应的实时应用中，具有显著的实际价值和未来影响。

📄 摘要（原文）

In this study, we identify depth-dependent prefix redundancy in final-readout LLM embedding models, notably across representative backbones including Qwen3-Embedding and Qwen3-VL-Embedding. We find that removing prefix states is substantially more damaging in shallow layers than at greater depth, showing that prefix states become increasingly compressible as the prefix and readout states propagate through the network. To this end, we introduce FastE, a training-free, plug-and-play method. FastE uses a shared fixed threshold on batch-mean readout-prefix alignment as a lightweight online heuristic for selecting when compression occurs, and ranks prefix states by the attention scores they receive from the readout position to determine which states are retained in subsequent layers. Our evaluations demonstrate FastE's ability to substantially reduce computational costs: on NarrativeQA with Qwen3-Embedding-0.6B, it reduces decoder-backbone FLOPs by 40.11% while retaining 99.53% of Full Forward nDCG@10. Across five text embedding benchmarks, two backbone scales, and three cross-modal retrieval tasks, the quality-efficiency trade-off is directly customizable through the maximum removal ratio without retraining. We believe FastE offers practical value for scalable embedding generation in retrieval, indexing, clustering, and multimodal representation systems.