Sparse or Dense? A Mechanistic Estimation of Computation Density in Transformer-based LLMs

📄 arXiv: 2601.22795v1 📥 PDF

作者: Corentin Kervadec, Iuliia Lysova, Marco Baroni, Gemma Boleda

分类: cs.CL

发布日期: 2026-01-30

💡 一句话要点

提出一种基于机制可解释性的方法，用于量化Transformer LLM中的计算密度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 计算密度 机制可解释性 模型优化 稀疏性 Transformer LLM效率

📋 核心要点

  1. 现有LLM效率优化研究表明参数存在冗余，但缺乏对计算密度分布的系统量化方法。
  2. 论文提出一种基于机制可解释性的计算密度估计器，用于量化LLM中计算的密集程度。
  3. 实验表明LLM处理通常涉及密集计算，计算密度动态变化，且输入密度在不同LLM间具有相关性。

📝 摘要（中文）

基于Transformer的大型语言模型（LLM）包含数十亿个参数，这些参数排列在深度和宽度的计算图中。一些关于LLM效率优化的研究表明，可以修剪很大一部分参数，而对性能的影响很小。这表明计算并非均匀分布在所有参数上。本文提出了一种系统地量化LLM中计算密度的技术。特别地，我们设计了一个基于机制可解释性的密度估计器。实验结果表明：（1）与通常假设的相反，LLM处理通常涉及密集计算；（2）计算密度是动态的，模型根据输入在稀疏和密集处理机制之间切换；（3）不同LLM的每个输入密度显著相关，表明相同的输入触发低密度或高密度。通过调查影响密度的因素，我们观察到预测更稀有的token需要更高的密度，并且增加上下文长度通常会降低密度。我们相信我们的计算密度估计器将有助于更好地理解LLM中的处理过程，并挑战其符号解释。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）虽然参数众多，但计算资源的利用率并不均匀。许多研究表明，可以对LLM进行剪枝，去除大量参数而性能影响不大。这暗示了计算密度在模型参数间的分布是不均匀的，但缺乏一种有效的方法来量化这种计算密度。

核心思路：本文的核心思路是利用机制可解释性来设计一个计算密度估计器。通过分析模型内部的激活模式和参数使用情况，来推断模型在处理特定输入时所使用的计算资源的密集程度。这种方法避免了直接测量硬件资源消耗的复杂性，而是从模型内部行为的角度来估计计算密度。

技术框架：该方法主要包含以下几个阶段：1）选择合适的LLM模型；2）设计基于机制可解释性的密度估计器，该估计器能够根据模型的内部状态（如激活值、梯度等）来估计计算密度；3）使用不同的输入数据来测试该估计器，并分析计算密度的变化；4）研究影响计算密度的因素，如输入token的稀有程度、上下文长度等。

关键创新：该方法最重要的创新点在于它提出了一种基于机制可解释性的计算密度估计方法。与传统的基于硬件资源消耗的测量方法不同，该方法从模型内部行为的角度来估计计算密度，从而能够更深入地理解LLM的计算过程。此外，该方法还能够揭示计算密度与输入数据之间的关系，为LLM的优化提供新的思路。

关键设计：密度估计器的具体设计细节未知，但可以推测其可能涉及以下方面：1）选择合适的内部状态作为计算密度的指标，如激活值的L1或L2范数、梯度的大小等；2）设计合适的函数将这些指标映射到计算密度；3）考虑不同层之间的计算密度差异，可能需要对不同层进行加权平均；4）使用一些正则化技术来防止过拟合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM处理通常涉及密集计算，这与之前的稀疏性假设相反。计算密度是动态的，模型会根据输入在稀疏和密集处理机制之间切换。不同LLM的每个输入密度显著相关，表明相同的输入会触发相似的计算密度模式。此外，预测更稀有的token需要更高的密度，而增加上下文长度通常会降低密度。

🎯 应用场景

该研究成果可应用于LLM的效率优化，例如指导模型剪枝、动态调整计算资源分配等。通过理解不同输入对计算密度的影响，可以针对性地优化模型结构和训练策略，从而在保证性能的同时降低计算成本。此外，该研究还有助于深入理解LLM的内部工作机制，为开发更高效、更可控的LLM提供理论基础。

📄 摘要（原文）

Transformer-based large language models (LLMs) are comprised of billions of parameters arranged in deep and wide computational graphs. Several studies on LLM efficiency optimization argue that it is possible to prune a significant portion of the parameters, while only marginally impacting performance. This suggests that the computation is not uniformly distributed across the parameters. We introduce here a technique to systematically quantify computation density in LLMs. In particular, we design a density estimator drawing on mechanistic interpretability. We experimentally test our estimator and find that: (1) contrary to what has been often assumed, LLM processing generally involves dense computation; (2) computation density is dynamic, in the sense that models shift between sparse and dense processing regimes depending on the input; (3) per-input density is significantly correlated across LLMs, suggesting that the same inputs trigger either low or high density. Investigating the factors influencing density, we observe that predicting rarer tokens requires higher density, and increasing context length often decreases the density. We believe that our computation density estimator will contribute to a better understanding of the processing at work in LLMs, challenging their symbolic interpretation.