Surfing the Activation Wave: Analyzing the Information and Geometry of LLM Hidden States for Speculative Decoding

📄 arXiv: 2610.12939v1 📥 PDF

作者: Raghavv Goel, Sudhanshu Agrawal, Mukul Gagrani, Risheek Garrepalli, Mingu Lee

分类: cs.CL, cs.AI

发布日期: 2026-10-09

备注: Accepted at multiple Neurips Workshop: Axiom, GDDL, and PriGM

💡 一句话要点

提出基于信息和几何分析的多层隐藏状态选择方法以优化LLM的推测解码

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推测解码 层选择 信息量分析 中心核对齐 熵计算 自然语言处理 深度学习

📋 核心要点

  1. 现有的推测解码方法依赖于固定的层选择策略，无法充分利用不同层的互补信息，导致性能受限。
  2. 本文提出了一种基于信息量和多样性的多层隐藏状态选择框架，通过熵分析和CKA动态评估层的有效性。
  3. 实验结果显示，所提出的方法在推测解码中显著优于传统的层选择策略，提升了模型的解码质量。

📝 摘要（中文）

大型语言模型（LLMs）的解码器隐藏状态来自不同层次，通常编码互补信息。然而，现有的推测解码方法通常依赖于固定的、基于位置的启发式选择少量目标模型层。本文提出了一种基于信息量和多样性两个互补标准的多层隐藏状态选择框架。通过对层级香农熵和中心核对齐（CKA）动态的分析，揭示了解码器表示中的几何和信息特征。我们提出的基于熵和CKA的层选择算法能够选择高信息量且冗余度低的隐藏状态集，显著提升了推测解码的效果。我们的实验结果表明，所选集在EAGLE3风格的推测解码中优于固定基线选择，提供了更清晰的解释。

🔬 方法详解

问题定义：本文旨在解决现有推测解码方法中层选择的不足，现有方法通常依赖固定的启发式选择，无法充分利用不同层的互补信息，导致解码性能受限。

核心思路：论文提出了一种基于信息量（通过矩阵熵分析）和多样性（通过中心核对齐CKA）两个标准的层选择框架，旨在选择高信息量且冗余度低的隐藏状态集，以优化解码效果。

技术框架：整体架构包括层级香农熵计算、隐藏状态的聚合熵分析以及层间CKA动态评估。通过这些模块，能够系统地评估每一层的有效性，并进行层选择。

关键创新：最重要的技术创新在于提出了熵和CKA结合的层选择算法，能够有效识别出信息量高且冗余度低的隐藏状态，与传统方法相比，提供了更为灵活和有效的层选择策略。

关键设计：在参数设置上，采用了基于熵的过滤机制，去除低预测熵的隐藏状态，以提高层选择统计的质量。此外，算法在EAGLE3风格的推测解码中进行了验证，确保了其实际应用效果。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，所提出的基于熵和CKA的层选择算法在EAGLE3风格的推测解码中，性能显著优于固定基线选择，尤其是默认的层选择规则$[2, N//2, N-3]$，提升幅度明显，提供了更清晰的解释为何某些默认选择仍具竞争力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等场景。通过优化多层隐藏状态的选择，可以显著提升大型语言模型在推测解码中的表现，进而提高模型在实际应用中的准确性和效率。未来，该方法还可以扩展到其他相关领域，如图像生成和多模态学习等。

📄 摘要（原文）

Decoder hidden states from different layers of large language models (LLMs) often encode complementary information. However, existing speculative decoding methods typically rely on a small set of target-model layers chosen using fixed, position-based heuristics. Selecting an optimal subset of layers is inherently a combinatorial problem, making exhaustive evaluation infeasible even for moderately deep models. In this work, we present a principled framework for multi-layer hidden-state selection for speculative decoding based on two complementary criteria: informativeness, measured through matrix-entropy analysis, and diversity, quantified using centered kernel alignment (CKA). We investigate layer-wise Shannon entropy, aggregate entropy under hidden-state concatenation, and pairwise CKA dynamics across depth, revealing distinct geometric and informational compartments within decoder representations. Motivated by these findings, we propose entropy and CKA-based layer selection algorithms that favor hidden-state sets that are both highly informative and minimally redundant. As part of this framework, we introduce token-entropy filtering, which removes hidden states associated with low predictive-entropy tokens, thereby improving the quality of layer-selection statistics. In EAGLE3-style speculative decoding, our selected sets outperform fixed baseline choices, including the default $[2, N//2, N-3]$ rule, while providing a clearer explanation of why some defaults can remain competitive. Our results provide a practical recipe for multi-layer hidden-state selection for speculative decoding, insights into the geometry and information in LLM decoder states, and a foundation for extending similar analysis to related applications.