A Few More Tokens Ahead: Reinforcing Parallelism in Diffusion LLMs

📄 arXiv: 2610.18200v1 📥 PDF

作者: Jiahao Kuang, Yangfan Gao, Tao Gui, Yuanbin Wu, Qi Zhang, Xuanjing Huang, Tao Ji

分类: cs.LG, cs.AI

发布日期: 2026-10-13

💡 一句话要点

提出RePara以增强扩散大语言模型的并行生成能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散模型 大语言模型 并行生成 策略优化 数学生成 代码生成 性能提升

📋 核心要点

  1. 现有的扩散大语言模型在数学和代码生成任务中表现不佳，尤其是在固定配额评估下，得分普遍低于15%。
  2. 论文提出RePara，通过组相对策略优化来强化短连续token块的生成能力，从而提高模型的预测性能。
  3. 实验结果表明，RePara在GSM8K和MATH-500任务上相较于JustGRPO有显著的准确性提升，并且训练速度提高了1.96倍。

📝 摘要（中文）

并行生成被广泛认为是扩散大语言模型的固有优势。然而，我们对四个代表性模型的固定配额评估显示，在数学和代码生成任务中，性能严重下降，所有模型在每步16个token时的得分均低于15%。通过token级探测，我们发现数学文本中观察到的前缀附近存在局部预测潜力。为此，我们提出了RePara，通过组相对策略优化来增强短连续token块，并降低回滚和对数概率重计算的成本。在LLaDA和SDAR上，我们的方法在减少去噪预算的情况下，提升了GSM8K和MATH-500的准确性，相比JustGRPO在LLaDA/MATH设置中实现了1.96倍的训练步骤加速。

🔬 方法详解

问题定义：本论文旨在解决扩散大语言模型在数学和代码生成任务中的性能下降问题，现有方法在固定配额评估下表现不佳，尤其是在生成的token数量增加时。

核心思路：论文提出RePara，通过优化短连续token块的生成策略，利用组相对策略优化来增强模型的局部预测能力，从而提升整体生成性能。

技术框架：RePara的整体架构包括数据预处理、token生成模块和优化策略模块。首先对输入数据进行预处理，然后通过优化策略模块生成token，最后进行性能评估和反馈调整。

关键创新：RePara的核心创新在于通过组相对策略优化来强化短连续token块的生成能力，这一方法与传统的单一token生成策略相比，能够更有效地利用局部上下文信息。

关键设计：在RePara中，关键设计包括优化的损失函数和相对策略选择机制，确保在生成过程中能够有效降低回滚和对数概率重计算的成本，同时保持生成质量。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，RePara在GSM8K和MATH-500任务上相较于JustGRPO的准确性有显著提升，具体表现为在减少去噪预算的情况下，准确率提高，且在LLaDA/MATH设置中实现了1.96倍的训练步骤加速，显示出其在效率和效果上的双重优势。

🎯 应用场景

该研究的潜在应用领域包括教育、编程辅助和自动化内容生成等。通过提升扩散大语言模型在数学和代码生成方面的性能，RePara可以为教育工具和编程环境提供更高效的支持，帮助用户更好地理解和应用复杂概念。未来，随着技术的进一步发展，RePara可能在更广泛的自然语言处理任务中发挥重要作用。

📄 摘要（原文）

Parallel generation is widely regarded as an inherent advantage of diffusion large language models. Yet our fixed-quota evaluation of four representative models reveals severe degradation across mathematics and code, with all scores below 15% at 16 tokens per step. Token-level probes identify local predictive potential near the observed prefix, especially in mathematical text. We propose RePara, which reinforces short consecutive token blocks through group-relative policy optimization and reduces rollout and log-probability recomputation costs. On LLaDA and SDAR, \ours improves GSM8K and MATH-500 accuracy over JustGRPO under reduced denoising budgets, with a 1.96x training-step speedup in our LLaDA/MATH setup.