TeCoP: Accelerating Diffusion Large Language Model Decoding via Tentative Context Pipelining

📄 arXiv: 2610.27583v1 📥 PDF

作者: Jui-Chien Tsou, Hsuan-Chi Liu, Wei-Chin Wang, Yu-Syuan Xu, Chun-Yi Lee

分类: cs.CL

发布日期: 2026-10-20

💡 一句话要点

提出TeCoP以加速扩散大语言模型解码过程

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散大语言模型 解码效率 上下文重用 块并行流水线 草稿验证机制 自然语言处理 智能助手

📋 核心要点

  1. 现有的块状解码器在生成过程中效率低下，导致重复计算和延迟。
  2. TeCoP通过交错块并行流水线和草稿验证机制，解耦预测的准备性与上下文效用，提升解码效率。
  3. 实验结果显示，TeCoP在多个基准测试中显著提高了吞吐量，并减少了前向评估次数。

📝 摘要（中文）

扩散大语言模型（dLLMs）在每次前向传播中预测多个标记位置，但块状解码器序列化生成并重复计算稳定预测，导致效率低下。本文提出了Tentative Context Pipelining（TeCoP），一种无训练的解码器，通过交错的块并行流水线和草稿验证机制，将预测的准备性与其作为上下文的效用解耦。TeCoP重用稳定但未承诺的预测作为临时跨块上下文，承诺由置信度和稳定性检查控制。在GSM8K、Minerva MATH和MBPP的四个LLaDA和Dream dLLMs上，TeCoP将前向评估次数减少了多达87%，在不使用KV缓存的情况下实现了高达7.50倍的吞吐量，使用缓存时则达到11.77倍，且在所有12个模型基准设置中均优于Fast-dLLM和DSB，同时保持平均缓存准确率在原始解码器的一个百分点以内。

🔬 方法详解

问题定义：本文旨在解决扩散大语言模型在解码过程中由于块状解码器的序列化生成而导致的效率低下问题。现有方法在生成过程中需要重复计算稳定预测，造成了不必要的计算开销。

核心思路：TeCoP的核心思路是通过交错的块并行流水线和草稿验证机制，将预测的准备性与其作为上下文的效用解耦。这种设计允许模型在生成过程中重用稳定但未承诺的预测，从而提高解码效率。

技术框架：TeCoP的整体架构包括多个模块，主要包括交错块并行流水线、草稿生成模块和置信度与稳定性检查模块。通过这些模块的协同工作，TeCoP能够在不牺牲生成质量的情况下，显著提升解码速度。

关键创新：TeCoP的最重要创新在于其草稿验证机制和临时上下文的重用策略。这一策略与传统的块状解码器方法本质上不同，后者通常将预测的准备性与上下文效用紧密耦合。

关键设计：TeCoP在设计中考虑了多个关键参数，包括置信度阈值和稳定性检查标准，以确保生成的上下文在不同块之间的有效性。此外，模型架构的调整也使得并行处理成为可能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TeCoP在多个基准测试中表现出色，前向评估次数减少了多达87%，在不使用KV缓存的情况下吞吐量提升至7.50倍，使用缓存时更是达到11.77倍。与Fast-dLLM和DSB相比，TeCoP在所有12个模型基准设置中均展现出更高的吞吐量，同时保持平均缓存准确率在原始解码器的一个百分点以内。

🎯 应用场景

TeCoP的研究成果在自然语言处理、对话系统和智能助手等领域具有广泛的应用潜力。通过提高解码效率，TeCoP能够加速生成任务，提升用户体验，并为实时应用提供支持。未来，TeCoP的技术可以进一步扩展到其他生成模型和任务中，推动更高效的AI系统发展。

📄 摘要（原文）

Diffusion large language models (dLLMs) predict multiple token positions per forward pass, yet block-wise decoders serialize generation and repeatedly recompute stable predictions. We attribute this inefficiency to coupling a prediction's readiness for irreversible commitment with its utility as context. We introduce Tentative Context Pipelining (TeCoP), a training-free decoder that decouples these roles through staggered block-parallel pipelining and draft-and-verify. TeCoP reuses stable but uncommitted predictions as provisional cross-block context, with commitment governed by confidence and stability checks. Across four LLaDA and Dream dLLMs on GSM8K, Minerva MATH, and MBPP, TeCoP reduces number of forward evaluations by up to 87% and achieves up to 7.50-fold throughput without KV caching and 11.77-fold with caching over the uncached original decoder. It outperforms Fast-dLLM and DSB in throughput across all 12 model-benchmark settings, with and without caching, while keeping average cached accuracy within one percentage point of the original decoder.