TriangleMix: Accelerating Prefilling via Decoding-time Contribution Sparsity

📄 arXiv: 2507.21526v2 📥 PDF

作者: Zhiyuan He, Yike Zhang, Chengruidong Zhang, Huiqiang Jiang, Yuqing Yang, Lili Qiu

分类: cs.CL

发布日期: 2025-07-29 (更新: 2025-10-11)

💡 一句话要点

TriangleMix：通过解码时贡献稀疏性加速LLM的Prefilling阶段

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 注意力机制 稀疏性 Prefilling 模型加速 解码效率 TriangleMix

📋 核心要点

  1. LLM的prefilling阶段因注意力机制的二次方复杂度而面临效率瓶颈，现有方法主要关注注意力分数稀疏性。
  2. TriangleMix利用解码时贡献稀疏性，设计了一种静态注意力模式，在部分层使用密集注意力，其余层使用Triangle注意力。
  3. 实验表明，TriangleMix在保持性能的同时显著加速prefilling，且能与动态稀疏方法结合，进一步提升效率。

📝 摘要（中文）

大型语言模型(LLMs)的注意力机制复杂度随输入长度呈二次方增长，导致prefilling阶段成为主要的时间瓶颈。现有加速方法主要通过估计具有高注意力分数的块并应用动态稀疏注意力来利用注意力分数稀疏性。本文发现prefilling阶段另一种未被利用的稀疏性，即解码时贡献稀疏性，其中许多注意力块在prefilling期间表现出非平凡的注意力分数，但对后续解码的贡献可以忽略不计，这可以通过基于梯度的分析来表明。基于此，我们提出TriangleMix，一种无需训练的静态注意力模式，它在部分层中使用密集注意力，并在其他层切换到Triangle注意力。大量实验表明，TriangleMix相对于密集注意力几乎保持无损的性能，同时显著降低Triangle层中的注意力开销。对于128K输入，Triangle注意力在注意力计算中实现了15.3倍的加速，显著超过了典型动态稀疏方法（1.9倍至3.4倍）的加速。此外，TriangleMix可以与动态稀疏方法无缝结合，与单独使用动态稀疏性相比，TTFT进一步降低了6%至19%。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在prefilling阶段由于注意力机制的二次方复杂度而导致的计算效率瓶颈问题。现有方法主要关注注意力分数的稀疏性，但忽略了解码时贡献的稀疏性，即某些注意力块虽然有较高的注意力分数，但对后续解码的贡献很小。

核心思路：论文的核心思路是利用解码时贡献的稀疏性，通过静态地在不同层之间切换不同的注意力模式来加速prefilling过程。具体来说，某些层使用计算量大的密集注意力，而另一些层使用计算量小的Triangle注意力，从而在性能和效率之间取得平衡。这样设计的目的是在保证模型性能的前提下，尽可能地减少计算开销。

技术框架：TriangleMix的整体框架是在Transformer模型的基础上，对不同层应用不同的注意力模式。具体来说，模型包含若干层，其中一部分层使用标准的密集注意力机制，另一部分层使用Triangle注意力机制。Triangle注意力机制通过限制注意力范围，减少计算量。在prefilling阶段，模型首先使用密集注意力层进行初始处理，然后切换到Triangle注意力层进行后续处理。

关键创新：论文的关键创新在于发现了解码时贡献的稀疏性，并基于此设计了TriangleMix注意力模式。与现有方法相比，TriangleMix是一种静态的注意力模式，无需训练，易于实现。此外，TriangleMix可以与动态稀疏方法相结合，进一步提升效率。

关键设计：TriangleMix的关键设计在于如何选择哪些层使用密集注意力，哪些层使用Triangle注意力。论文通过实验发现，在较低的层使用密集注意力，较高的层使用Triangle注意力可以取得较好的效果。具体的层数比例可以根据不同的模型和数据集进行调整。此外，论文还研究了Triangle注意力机制的具体实现方式，例如如何选择注意力范围等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TriangleMix在128K输入下实现了15.3倍的注意力计算加速，显著优于典型的动态稀疏方法（1.9倍至3.4倍）。同时，TriangleMix与动态稀疏方法结合使用时，TTFT进一步降低了6%至19%，表明了其良好的兼容性和有效性。该方法在保持性能的同时显著提升了效率。

🎯 应用场景

TriangleMix可应用于各种需要加速LLM prefilling的场景，例如长文本生成、对话系统、机器翻译等。该方法能够显著降低计算成本，提高响应速度，使得LLM能够更好地应用于资源受限的环境中。未来，该方法可以进一步扩展到其他类型的注意力机制和模型结构中。

📄 摘要（原文）

Large Language Models (LLMs) incur quadratic attention complexity with input length, creating a major time bottleneck in the prefilling stage. Existing acceleration methods largely exploit attention score sparsity by estimating blocks with high attention scores and applying dynamic sparse attention. In this work, we identify another untapped form of sparsity in the prefilling stage, namely decoding-time contribution sparsity, where many attention blocks exhibit nontrivial attention scores during prefilling yet contribute negligibly to subsequent decoding, as indicated by gradient-based analysis. Building on this observation, we propose TriangleMix, a training-free static attention pattern that uses dense attention in a subset of layers and switches to Triangle attention in the others. Extensive experiments show that TriangleMix preserves nearly lossless performance relative to dense attention while substantially reducing attention overhead in Triangle layers. For 128K inputs, Triangle attention achieves a 15.3x speedup in attention computation, significantly exceeding the acceleration of typical dynamic sparse methods (1.9x to 3.4x). Furthermore, TriangleMix can be seamlessly combined with dynamic sparsity approaches, delivering an additional 6% to 19% reduction in TTFT over using dynamic sparsity alone.