Lil: Less is Less When Applying Post-Training Sparse-Attention Algorithms in Long-Decode Stage

📄 arXiv: 2601.03043v1 📥 PDF

作者: Junhao Hu, Fangze Li, Mingtao Xu, Feifan Meng, Shiju Zhao, Tiancheng Hu, Ting Peng, Anmin Liu, Wenrui Huang, Chenxu Liu, Ziyue Hua, Tao Xie

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-01-06

💡 一句话要点

提出早期停止算法，缓解长解码阶段稀疏注意力导致的序列长度增加问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 稀疏注意力 长文本生成 早期停止 推理效率 大型语言模型

📋 核心要点

  1. 现有稀疏注意力算法在长解码阶段可能导致信息损失，进而导致生成序列长度增加，降低效率。
  2. 提出一种早期停止算法，通过检测信息损失超过信息增益的阈值来提前终止解码过程。
  3. 实验表明，该算法能够在精度损失很小的情况下，显著减少token消耗，提升推理效率。

📝 摘要（中文）

大型语言模型（LLMs）在各种复杂任务中表现出强大的能力，并越来越多地大规模部署，这对推理效率提出了重大需求。先前的工作通常将推理分解为预填充和解码阶段，其中解码阶段占据了总延迟的大部分。为了降低解码阶段的时间和内存复杂度，一系列工作引入了稀疏注意力算法。在本文中，我们通过实验和理论证明，稀疏注意力可能会适得其反地增加端到端复杂度：信息损失通常会导致序列显著变长，我们称之为“少即是少”（Lil）现象。为了缓解Lil问题，我们提出了一种早期停止算法，该算法可以检测稀疏解码期间信息损失超过信息增益的阈值。我们的早期停止算法可减少高达90%的token消耗，同时在推理密集型基准测试中，精度仅略微下降不到2%。

🔬 方法详解

问题定义：论文旨在解决长文本生成任务中，使用稀疏注意力机制后，解码阶段效率反而降低的问题。现有方法在长解码阶段应用稀疏注意力时，会丢失部分信息，导致模型需要生成更长的序列才能完成任务，从而抵消了稀疏注意力带来的计算优势。这种现象被称为“Less is Less”（Lil）。

核心思路：论文的核心思路是，在解码过程中监控信息损失和信息增益之间的关系，并在信息损失超过信息增益的临界点提前停止解码。通过这种方式，可以避免生成不必要的token，从而提高整体推理效率。

技术框架：该方法主要包含两个阶段：稀疏注意力解码和早期停止判断。在稀疏注意力解码阶段，模型使用稀疏注意力机制生成token。在早期停止判断阶段，算法评估当前token的信息增益和信息损失，如果信息损失超过信息增益，则停止解码。

关键创新：该论文的关键创新在于提出了早期停止算法，该算法能够动态地判断何时停止解码，从而避免了生成冗余的token。与传统的固定长度解码或完全解码相比，该方法能够更好地平衡精度和效率。

关键设计：早期停止算法的关键在于如何定义和衡量信息增益和信息损失。论文中可能使用了某种指标（具体细节未知）来量化这两个概念。此外，阈值的选择也是一个重要的设计参数，需要根据具体的任务和模型进行调整。具体损失函数和网络结构细节在摘要中未提及，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该早期停止算法能够在推理密集型基准测试中，减少高达90%的token消耗，同时精度仅略微下降不到2%。这表明该方法能够在显著提高效率的同时，保持较高的生成质量。具体的基线模型和数据集信息未知。

🎯 应用场景

该研究成果可应用于各种需要高效长文本生成的场景，例如机器翻译、文本摘要、对话系统等。通过减少token消耗，可以降低计算成本，提高响应速度，从而提升用户体验。该方法尤其适用于资源受限的设备或需要大规模部署的场景。

📄 摘要（原文）

Large language models (LLMs) demonstrate strong capabilities across a wide range of complex tasks and are increasingly deployed at scale, placing significant demands on inference efficiency. Prior work typically decomposes inference into prefill and decode stages, with the decode stage dominating total latency. To reduce time and memory complexity in the decode stage, a line of work introduces sparse-attention algorithms. In this paper, we show, both empirically and theoretically, that sparse attention can paradoxically increase end-to-end complexity: information loss often induces significantly longer sequences, a phenomenon we term ``Less is Less'' (Lil). To mitigate the Lil problem, we propose an early-stopping algorithm that detects the threshold where information loss exceeds information gain during sparse decoding. Our early-stopping algorithm reduces token consumption by up to 90% with a marginal accuracy degradation of less than 2% across reasoning-intensive benchmarks.