DScale: Scaling Block-Diffusion Speculative Decoding with Adaptive Verification

📄 arXiv: 2609.37532v1 📥 PDF

作者: Rongjian Chen, Minxian Xu, Zhengxin Fang, Kejiang Ye, Chengzhong Xu

分类: cs.DC, cs.AI

发布日期: 2026-09-29

备注: 12 pages

💡 一句话要点

提出DScale以解决大语言模型推理效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 块扩散解码 推测解码 动态验证 路径感知切片 大语言模型 推理效率 吞吐量提升

📋 核心要点

  1. 现有的块扩散推测解码方法在高并发情况下存在验证填充和候选项被拒的问题，影响推理效率。
  2. DScale通过引入动态验证长度和路径感知切片等机制，优化了推测解码过程，提升了吞吐量。
  3. 实验结果显示，DScale在多个配置下的几何平均吞吐量分别提高了43.9%至48.8%，并显著降低了解码时间。

📝 摘要（中文）

随着大型语言模型应用的增长，对高效推理的需求日益增加。在高并发情况下，块扩散推测解码面临验证填充、被拒候选项以及可变前缀与固定形状图之间的不兼容等问题。DScale通过保留草稿架构、权重和完整草稿长度，提出了一种新的解决方案。它引入了112K参数的预测器，无需信心校准或硬件速度曲线准备。路径感知的切片减少了填充，而动态验证长度分配将评分前缀打包到原生验证容量的一半。实验结果表明，DScale在多个数据集和并发情况下显著提高了吞吐量和降低了请求延迟。

🔬 方法详解

问题定义：论文旨在解决块扩散推测解码在高并发情况下的效率问题，现有方法存在验证填充、候选项被拒和前缀不兼容等痛点。

核心思路：DScale通过保留草稿架构和引入112K参数的预测器，避免了信心校准和硬件准备的复杂性，同时通过动态验证长度和路径感知切片优化了推测解码过程。

技术框架：DScale的整体架构包括草稿生成、动态验证长度分配和路径感知切片三个主要模块，确保了高效的推理过程。

关键创新：DScale的创新点在于动态验证长度分配和固定地址工作空间的设计，使得推测解码过程中的边界变化能够有效传播并重用捕获的图。

关键设计：DScale采用112K参数的预测器，动态验证长度分配将评分前缀打包到原生验证容量的一半，路径感知切片则减少了验证过程中的填充，整体设计旨在提高吞吐量和降低延迟。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DScale在A100-40GB上实现了几何平均吞吐量的显著提升，分别比DFlash提高43.9%和48.8%，比DSpark提高22.2%和37.7%，并且解码时间相较于DFlash减少了30.8%-52.5%。

🎯 应用场景

DScale的研究成果可广泛应用于大型语言模型的推理任务，尤其是在需要高并发处理的场景中，如实时对话系统、智能客服和在线翻译等领域。其高效的推理能力将提升用户体验，并推动相关技术的进一步发展。

📄 摘要（原文）

Growing large language model applications demand efficient inference. At high concurrency, block-diffusion speculative decoding suffers from verification padding, rejected candidates, and incompatibility between variable prefixes and fixed-shape graphs. Uniform truncation sacrifices acceptable tokens. We present DScale, preserving drafter architecture, weights, and full draft length. A separate 112K-parameter predictor requires neither confidence calibration nor hardware speed-curve preparation. Path-aware tiles reduce padding. Dynamic verify-length (DVL) allocation packs scored prefixes into half the native verification capacity. Fixed-address workspaces propagate changing boundaries through verification and acceptance while reusing captured graphs. On A100-40GB with tensor parallelism 1, Qwen3-8B and Qwen3-4B cover four datasets and concurrency 8-32, reusing each target's frozen predictor. Geometric-mean throughput gains across these configurations are respectively 43.9% and 48.8% over DFlash, 22.2% and 37.7% over DSpark, and 24.4% and 32.0% over Domino, with lower request latency. Cumulative ablations show that adding the three mechanisms successively increases geometric-mean throughput, while budget adjustment improves accepted-token retention. GPU profiling shows that complete decode-step time on GSM8K decreases by 30.8-52.5% relative to DFlash