ConfLayers: Adaptive Confidence-based Layer Skipping for Self-Speculative Decoding
作者: Walaa Amer, Uday das, Fadi Kurdahi
分类: cs.LG, cs.CL
发布日期: 2026-04-16
备注: 13 pages, 9 figures
💡 一句话要点
提出ConfLayers，一种基于置信度的自适应层跳跃方法，加速自推测解码。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自推测解码 层跳跃 大型语言模型 置信度 动态优化
📋 核心要点
- 现有自推测解码方法依赖启发式或训练策略来确定跳过的层，但前者可能不够优化，后者引入额外开销。
- ConfLayers 提出基于置信度的动态层跳跃方法，通过迭代计算置信度并自适应选择跳过的层，无需训练。
- 实验结果表明，ConfLayers 在不同模型和数据集上实现了高达 1.4 倍的加速，同时保持了良好的生成质量。
📝 摘要（中文）
自推测解码是一种用于大型语言模型的推理技术，旨在加速生成过程而不牺牲输出质量。它结合了快速、近似的解码（使用模型的紧凑版本作为草稿模型）和由完整目标模型进行的选择性重新评估。一些现有方法通过动态学习在推理期间跳过哪些层来形成草稿模型，从而有效地创建一个更小的子网络来加速计算。然而，使用基于启发式的方法来选择要跳过的层通常更简单有效。本文提出ConfLayers，一种动态的即插即用方法，通过基于置信度的中间层跳跃在自推测解码中形成草稿模型。该过程迭代地计算所有层的置信度分数，基于自适应阈值选择要跳过的层，评估结果集的性能，并更新最佳选择，直到没有进一步的改进或达到最大迭代次数。该框架避免了训练层跳跃策略的开销和复杂性，并且可以在保持草稿模型对不同任务和数据集的适应性的同时，提供更一致的速度-质量权衡。ConfLayers在不同模型和数据集上的性能评估表明，我们的新方法比vanilla LLM生成提供高达1.4倍的加速。
🔬 方法详解
问题定义：现有自推测解码方法在构建草稿模型时，要么依赖于启发式规则来选择跳过的层，这些规则可能不够优化；要么需要训练额外的层跳跃策略，这增加了计算开销和复杂性。因此，如何在不引入额外训练成本的前提下，自适应地选择要跳过的层，以实现更好的速度-质量权衡，是一个亟待解决的问题。
核心思路：ConfLayers 的核心思路是利用模型自身在每一层产生的置信度信息，来动态地决定哪些层可以安全地跳过。置信度高的层意味着模型对该层的输出更有把握，因此可以跳过而不会显著影响最终的生成质量。通过迭代地评估不同层跳跃组合的性能，并选择最佳的组合，ConfLayers 能够在速度和质量之间找到一个平衡点。
技术框架：ConfLayers 的整体框架是一个迭代优化过程，主要包含以下几个阶段： 1. 置信度计算：对于每一层，计算其输出的置信度分数。置信度的具体计算方式可以根据不同的模型和任务进行调整。 2. 层选择：基于自适应阈值，选择要跳过的层。阈值可以根据当前的性能进行动态调整。 3. 性能评估：使用目标模型评估当前层跳跃组合的性能，例如生成速度和输出质量。 4. 更新：如果当前组合的性能优于之前的最佳组合，则更新最佳组合。重复上述过程，直到达到最大迭代次数或性能不再提升。
关键创新：ConfLayers 最重要的创新点在于其动态和自适应的层跳跃策略。与静态的层跳跃方法相比，ConfLayers 能够根据不同的输入和模型状态，动态地调整要跳过的层，从而更好地适应不同的任务和数据集。与需要训练的层跳跃策略相比，ConfLayers 无需额外的训练成本，并且可以即插即用，方便集成到现有的自推测解码框架中。
关键设计：ConfLayers 的关键设计包括： 1. 置信度度量：论文中没有明确指定置信度的计算方式，这取决于具体的模型和任务。一种可能的实现方式是使用 softmax 输出的最大概率值作为置信度。 2. 自适应阈值：阈值的调整策略对性能至关重要。一种简单的策略是根据当前性能与目标性能之间的差距，动态地调整阈值。 3. 性能评估指标：性能评估需要综合考虑生成速度和输出质量。可以使用诸如延迟（latency）和困惑度（perplexity）等指标。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ConfLayers 在不同的模型和数据集上实现了显著的加速效果。例如，在某些情况下，ConfLayers 能够实现高达 1.4 倍的加速，同时保持了与原始模型相当的生成质量。此外，ConfLayers 的性能优于一些基于启发式的层跳跃方法，并且无需额外的训练成本。
🎯 应用场景
ConfLayers 可应用于各种需要加速大型语言模型推理的场景，例如对话系统、文本生成、机器翻译等。通过在保证生成质量的前提下显著提高推理速度，ConfLayers 有助于降低计算成本，并提升用户体验。未来，该方法可以进一步扩展到其他类型的模型和任务中。
📄 摘要（原文）
Self-speculative decoding is an inference technique for large language models designed to speed up generation without sacrificing output quality. It combines fast, approximate decoding using a compact version of the model as a draft model with selective re-evaluation by the full target model. Some existing methods form the draft model by dynamically learning which layers to skip during inference, effectively creating a smaller subnetwork to speed up computation. However, using heuristic-based approaches to select layers to skip can often be simpler and more effective. In this paper, we propose ConfLayers, a dynamic plug-and-play approach to forming the draft model in self-speculative decoding via confidence-based intermediate layer skipping. The process iteratively computes confidence scores for all layers, selects layers to skip based on an adaptive threshold, evaluates the performance of the resulting set, and updates the best selection until no further improvement is achieved or a maximum number of iterations is reached. This framework avoids the overhead and complexity of training a layer skipping policy and can provide more consistent speed-quality trade-offs while preserving the adaptivity of the draft model to diverse tasks and datasets. The performance evaluation of ConfLayers across different models and datasets shows that our novel approach offers up to 1.4x speedup over vanilla LLM generation.