TopK-Guided: Adaptive, Budget-Aware Activation Sparsity for Efficient LLM Inference

📄 arXiv: 2610.01763v1 📥 PDF

作者: Mukund Agarwalla, Chih-Jen Lin

分类: cs.AI

发布日期: 2026-10-01

💡 一句话要点

提出TopK-Guided以解决LLM推理中的激活稀疏性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 激活稀疏性 大型语言模型 推理效率 敏感性感知 预算分配 动态稀疏性 自然语言处理 模型优化

📋 核心要点

  1. 现有的激活稀疏性方法在稀疏性控制上存在不足，无法有效适应不同令牌和块的敏感性。
  2. 本文提出TopK-Guided，通过结合令牌级稀疏性适应与块级预算分配，克服了现有方法的局限性。
  3. 在Llama-2和Llama-3模型上，TopK-Guided在困惑度和下游任务准确性上均优于TEAL和WINA，尤其在高稀疏性下表现突出。

📝 摘要（中文）

激活稀疏性通过将不重要的激活值置为零来加速大型语言模型（LLM）的推理，从而跳过相应的计算。然而，现有的无训练方法在稀疏性控制上存在不同的权衡。本文提出TopK-Guided，这是一种无训练的方法，通过结合受限的令牌级稀疏性适应与敏感性感知的块级预算分配，解决了现有方法的不足。实验结果表明，TopK-Guided在Llama-2和Llama-3模型上，始终优于TEAL和WINA，同时保持与WINA相似的稀疏性相关计算，尤其在高稀疏性下获得了显著提升。

🔬 方法详解

问题定义：本文旨在解决大型语言模型推理中的激活稀疏性问题。现有方法如TEAL和WINA在稀疏性控制上存在不足，前者无法紧密控制实现的稀疏性，后者则对每个令牌使用固定的稀疏预算，未考虑块的敏感性差异。

核心思路：TopK-Guided通过结合令牌级的稀疏性适应和块级的敏感性感知预算分配，提供了一种灵活且有效的稀疏性控制方法。这种设计旨在提高推理效率，同时保持模型性能。

技术框架：该方法的整体架构包括两个主要模块：令牌级稀疏性适应模块和块级预算分配模块。令牌级模块根据每个令牌的重要性动态调整稀疏性，而块级模块则根据不同块的敏感性分配预算。

关键创新：TopK-Guided的主要创新在于其结合了令牌级和块级的稀疏性控制，解决了现有方法在稀疏性适应和预算分配上的局限性。这种双重控制机制使得模型在保持计算效率的同时，能够更好地适应不同的输入特征。

关键设计：在设计中，TopK-Guided采用了动态稀疏性调整策略，并引入了敏感性评估机制，以确保每个块的计算预算能够根据其重要性进行合理分配。此外，模型的损失函数和网络结构也经过优化，以支持这种新的稀疏性控制策略。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，TopK-Guided在Llama-2和Llama-3模型上，相较于TEAL和WINA，困惑度和下游任务准确性均有显著提升，尤其在高稀疏性条件下，性能提升幅度最大。具体数据未提供，待进一步验证。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过提高大型语言模型的推理效率，TopK-Guided可以在资源受限的环境中实现更快速的响应，降低计算成本，同时保持模型的准确性。这将对实时应用和大规模部署具有重要的实际价值和影响。

📄 摘要（原文）

Activation sparsity speeds up large language model (LLM) inference by setting unimportant activations to zero so that the corresponding computations can be skipped. Existing training-free methods, however, make different trade-offs: threshold-based methods such as TEAL adapt the sparsity level to each token but do not tightly control the realised sparsity, while TopK-based methods such as WINA enforce a fixed sparsity level but use the same sparsity budget for every token. Both also apply the same budget across transformer blocks, despite large differences in block sensitivity. We introduce TopK-Guided, a training-free method that addresses both limitations by combining bounded token-level sparsity adaptation with sensitivity-aware block-level budget allocation. Across Llama-2 and Llama-3 models, TopK-Guided consistently improves perplexity and downstream accuracy over TEAL and WINA while preserving essentially the same sparsitydependent projection compute as WINA, with the largest gains at high sparsity. Ablations show that both components provide complementary improvements.