ForkGRPO: Efficient Exploration and Fine-Grained Credit Assignment for Diffusion Language Models
作者: Zhaoyan Jia, Chengwei Zhou, Gourav Datta, Massoud Pedram
分类: cs.CL
发布日期: 2026-10-14
备注: 20 pages, 5 figures. The first two authors contributed equally
💡 一句话要点
提出ForkGRPO以解决扩散语言模型的探索与信用分配问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 扩散语言模型 强化学习 信用分配 高效探索 自然语言处理
📋 核心要点
- 现有的强化学习方法在扩散语言模型的推理过程中存在探索不足和信用分配不均的问题。
- ForkGRPO通过从高熵中间状态采样多个生成继续，结合细粒度的段级信用分配来解决这些问题。
- 在评估的架构保持RL方法中，ForkGRPO在四个基准测试中表现最佳，且训练速度提升显著。
📝 摘要（中文）
扩散大型语言模型（dLLMs）迅速发展，但通过强化学习（RL）增强其推理能力仍然是一个开放的挑战。现有方法在任意顺序生成中可能遭遇熵降，限制了可探索的推理路径。为此，本文提出ForkGRPO，一个结合高效探索与细粒度段级信用分配的RL框架。该方法从高熵中间状态采样多个继续生成，优先考虑文本边界并重用共享前缀。实验结果表明，ForkGRPO在四个基准测试中表现最佳，较直接可比的JustGRPO提升了1.2个百分点，并减少了27.8%的生成令牌。
🔬 方法详解
问题定义：本文旨在解决扩散语言模型在推理过程中面临的探索不足和信用分配不均的问题。现有方法在生成过程中未能充分探索中间状态的替代路径，导致推理能力受限。
核心思路：ForkGRPO的核心思路是结合高效的探索策略与细粒度的段级信用分配，通过从高熵中间状态生成多个继续，来增强模型的推理能力。
技术框架：ForkGRPO的整体架构包括多个模块：首先从输入提示生成高熵中间状态，然后从这些状态中采样多个继续，最后通过段级信用分配来优化生成的文本。
关键创新：ForkGRPO的最重要创新在于其细粒度的信用分配机制，能够根据每个推理段的贡献来分配奖励，而不是对所有生成的令牌均匀分配。
关键设计：在设计上，ForkGRPO重视文本边界的优先级，并重用共享前缀，以提高生成效率。同时，采用蒙特卡洛方法计算状态价值差异，以指导推理段的优化。
🖼️ 关键图片
📊 实验亮点
ForkGRPO在四个基准测试中表现优异，较JustGRPO提升了1.2个百分点，并且生成令牌数量减少了27.8%。此外，ForkGRPO-Fast实现了训练时间的$2.49 imes$加速，且准确率损失微乎其微。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过提高扩散语言模型的推理能力，ForkGRPO能够在更复杂的任务中提供更准确和上下文相关的响应，具有重要的实际价值和未来影响。
📄 摘要（原文）
Diffusion large language models (dLLMs) have advanced rapidly, yet strengthening their reasoning through reinforcement learning (RL) remains an open challenge. Any-order generation can suffer from entropy degradation, which narrows the reasoning paths available for exploration. Recent work mitigates this issue by applying standard GRPO with left-to-right generation. However, independently generating every rollout from the input prompt can leave alternative continuations from intermediate states underexplored, while trajectory-level advantages assign uniform credit to all tokens without distinguishing the contributions of individual reasoning segments. We propose ForkGRPO, an RL framework that couples efficient exploration with fine-grained segment-level credit assignment. It samples multiple continuations from high-entropy intermediate states along a reference trajectory, prioritizing textual boundaries and reusing shared prefixes. The continuations provide complementary learning signals: within-state group-relative advantages guide which continuations to reinforce, while Monte Carlo state-value differences indicate which reasoning segments improve expected outcomes. Among the evaluated architecture-preserving RL methods, ForkGRPO achieves the best performance on three of four benchmarks, while improving over the directly comparable JustGRPO by up to 1.2 percentage points and using up to 27.8% fewer generated tokens. ForkGRPO-Fast further achieves a $2.49\times$ training wall-clock speedup with negligible accuracy loss.