Early-Bird Decoding: Accelerating Diffusion LLMs with Learnable Block Sizes and Parallel Sampling

📄 arXiv: 2609.16450v1 📥 PDF

作者: Lixuan Wei, Wei Zhou, Jianwen Wu, Yipeng Shen, Meiling Wang, Haoran You

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-09-15

备注: 23 pages, 4 figures

💡 一句话要点

提出早鸟解码框架以加速扩散大语言模型推理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散大语言模型 并行解码 自适应分组 低熵令牌 推理效率 自然语言处理 实时应用

📋 核心要点

  1. 现有的扩散大语言模型在推理时需要多个步骤，导致效率低下，尤其是在固定块大小的情况下。
  2. 论文提出的早鸟解码框架通过自适应分组低熵令牌和并行采样，提前解码相似不确定性的令牌，显著提高推理效率。
  3. 实验结果显示，EB-Decode在吞吐量上比传统解码方法提高了3.53-18.76倍，且在准确性上保持竞争力。

📝 摘要（中文）

扩散大语言模型（dLLMs）作为自回归生成的替代方案，提供了一种有前景的并行解码范式。然而，dLLMs通常需要多个步骤才能使令牌置信度达到解码阈值，导致推理效率低下。为此，本文首次提出了“早鸟（EB）”解码框架，旨在通过观察到的低熵令牌聚集现象，提前解码相似不确定性的令牌。EB-Decode框架集成了两个关键要素：一个自适应分组的可学习网络和一个位置感知的并行采样器。实验表明，EB-Decode在多个基准测试中显著提高了推理吞吐量，达到了3.53-18.76倍的提升。

🔬 方法详解

问题定义：本文旨在解决扩散大语言模型推理效率低下的问题，现有方法在固定块大小的情况下，令牌置信度达到解码阈值所需步骤过多，影响了整体性能。

核心思路：论文的核心思路是通过观察到的低熵令牌聚集现象，提出早鸟解码框架，允许相似不确定性的令牌提前解码，从而减少所需的解码步骤。

技术框架：EB-Decode框架包括两个主要模块：一个可学习的网络用于自适应分组低熵令牌，另一个是位置感知的并行采样器，能够在预测的可变长度块内并行解码。

关键创新：最重要的技术创新在于引入了可学习的分组机制和位置感知的并行采样策略，这与现有方法依赖固定块大小的解码方式形成了本质区别。

关键设计：关键设计包括可学习网络的结构和损失函数的设置，确保网络能够有效地识别和分组低熵令牌，同时并行采样器的设计使得解码过程更加高效。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EB-Decode在吞吐量上比传统解码方法提高了3.53-18.76倍，且在与最强基线Fast-dLLM的比较中，吞吐量提升达到了1.58倍，同时保持了相似的准确性，验证了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过提高扩散大语言模型的推理效率，能够在实时应用中提供更快的响应时间，提升用户体验。此外，该框架的可插拔特性使其能够方便地集成到现有系统中，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Diffusion large language models (dLLMs) offer a promising parallel decoding paradigm as an alternative to autoregressive generation through iterative unmasking. However, dLLMs typically require many steps before token confidence reaches the decoding threshold, resulting in inefficient inference even with block-wise KV caching. To accelerate dLLM inference, we for the first time propose an "early-bird (EB)" decoding framework, motivated by the observation that tokens with similarly low entropy tend to cluster and can be jointly decoded earlier, before reaching the confidence threshold. In particular, our EB-Decode framework integrates two key enablers: (1) a learnable network that adaptively groups tokens with similar uncertainty into variable-length blocks, rather than relying on fixed block sizes; (2) a position-aware sampler that learns to unmask tokens in parallel using fewer decoding steps within predicted variable-length blocks. Both components are developed without modifying pretrained dLLM weights and can therefore be directly deployed as plug-ins during serving, with negligible training and inference overhead. Extensive experiments across three models and four benchmarks consistently validate our observation and the effectiveness of EB-Decode, achieving 3.53-18.76$\times$ higher throughput than the vanilla decoding method and up to 1.58$\times$ higher throughput over the strongest baseline, Fast-dLLM, with comparable accuracy.