HaloBlock: Faster and Better Decoding for Diffusion Large Language Models

📄 arXiv: 2610.17948v1 📥 PDF

作者: Zhaohui Zheng, Chenhang He, Jinrui Zhang, Ming-Ming Cheng, Lei Zhang

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-10-13

🔗 代码/项目: GITHUB

💡 一句话要点

提出HaloBlock以解决扩散大语言模型解码难题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散大语言模型 解码机制 上下文连续性 难度感知 自适应光环 生成质量 推理效率

📋 核心要点

  1. 现有的扩散大语言模型在解码时面临右侧标记主导的解码难度和块级解码的上下文不连续性问题。
  2. 本文提出HaloBlock，通过双向累积熵评估解码难度，并自适应地在块两侧分配光环区域以缓解上下文不连续性。
  3. 在多个基准测试中，HaloBlock在生成质量和推理效率上均表现出显著提升，验证了其有效性。

📝 摘要（中文）

扩散大语言模型（dLLMs）因其双向注意力和任意顺序解码而受到越来越多的研究关注。然而，dLLMs推理中存在两个问题：解码难度主要受块右侧标记的影响，且块级解码固有地遭受边界上下文不连续性。为了解决这些限制，本文提出了HaloBlock，一种基于难度感知的自适应光环机制。我们首先利用双向累积熵来表征块解码难度。然后，根据双向解码难度，自适应地在每个块的两侧分配双向光环区域，以减轻边界上下文的不连续性。HaloBlock的难度感知设计平滑了跨块上下文传播，降低了难解标记的解码难度，从而提高了生成质量和收敛速度。在LLaDA-8B-Instruct、Dream-7B-Instruct和LLaDA-1.5的数学推理和代码生成基准上，HaloBlock显示出一致的准确性提升和更高的推理效率。源代码已公开。

🔬 方法详解

问题定义：本文旨在解决扩散大语言模型在推理过程中面临的解码难度和上下文不连续性问题。现有方法在处理右侧标记时，解码难度较高，且块级解码导致的上下文不连续性影响生成质量。

核心思路：HaloBlock的核心思路是通过难度感知机制，利用双向累积熵来评估解码难度，并在每个块的两侧自适应地分配光环区域，以平滑上下文传播，降低难解标记的解码难度。

技术框架：HaloBlock的整体架构包括难度评估模块和光环区域分配模块。首先，通过双向累积熵计算每个块的解码难度，然后根据难度动态调整光环区域的大小，以优化解码过程。

关键创新：HaloBlock的主要创新在于其难度感知的自适应光环机制，这一设计显著改善了上下文的连续性和解码效率，与传统的块级解码方法相比，提供了更高的生成质量和更快的收敛速度。

关键设计：在设计中，HaloBlock使用了双向累积熵作为难度评估指标，并通过动态调整光环区域的大小来适应不同的解码难度。此外，具体的参数设置和损失函数设计也经过精心调整，以确保模型的最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LLaDA-8B-Instruct、Dream-7B-Instruct和LLaDA-1.5的基准测试中，HaloBlock在解码效率和生成质量上均实现了显著提升，具体表现为准确性的一致性提高和推理效率的增强，验证了其在复杂任务中的有效性。

🎯 应用场景

HaloBlock的研究成果在多个领域具有潜在应用价值，包括自然语言处理、代码生成和数学推理等。通过提高解码效率和生成质量，该方法可以为智能助手、编程辅助工具等应用提供更好的支持，推动相关技术的发展与应用。未来，HaloBlock的机制也可能被扩展到其他类型的生成模型中，进一步提升其性能。

📄 摘要（原文）

Diffusion large language models (dLLMs) have attracted increasing research attention due to their bidirectional attention and arbitrary order decoding. However, there are two issues in dLLMs inference: the decoding difficulty is dominated by the tokens on the right side of the block, and the block-wise decoding inherently suffers from boundary contextual discontinuity. To tackle these limitations, we propose HaloBlock, a difficulty-aware adaptive halo mechanism for dLLM inference. We first leverage bidirectional cumulative entropy to characterize block decoding difficulty. Then, based on the bidirectional decoding difficulty, we adaptively allocate bidirectional halo regions on both sides of each block to mitigate boundary contextual discontinuity. The difficulty-aware design of HaloBlock smooths cross-block context propagation and lowers decoding difficulty for hard tokens, yielding better generation quality and faster convergence. Evaluated on LLaDA-8B-Instruct, Dream-7B-Instruct and LLaDA-1.5 across mathematical reasoning and code generation benchmarks, HaloBlock demonstrates consistent accuracy improvements and higher inference efficiency. Source codes are publicly available at https://github.com/PolyU-VCLab/HaloBlock.