Informed Masking: Structure-Aware Perturbation for Reinforcement Learning in Diffusion Large Language Models

📄 arXiv: 2609.25927v1 📥 PDF

作者: Xiaoyi Yu, Enver Sangineto, Pei Fu, Fiorenzo Parascandolo, Wenhui Tan, Ruikang Zhang, Rita Cucchiara, Ruihua Song, Jian Luan

分类: cs.CL

发布日期: 2026-09-22

备注: 17 pages, 4 figures, EMNLP2026 Findings

💡 一句话要点

提出知情掩蔽以优化扩散大语言模型中的强化学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散大语言模型 强化学习 掩蔽重建 去噪轨迹 模型优化 训练稳定性 自然语言处理

📋 核心要点

  1. 现有方法在掩蔽重建子问题时采用均匀随机掩蔽，未能有效优先选择重要的子问题，导致性能不足。
  2. 论文提出知情掩蔽（IM），通过分析去噪轨迹为每个标记生成优先级评分，优先掩蔽下游标记以优化子问题构造。
  3. 在LLaDA-8B-Instruct上，IM在三种最先进的dLLM RL方法中实现了最高2.01%、8.68%和5.77%的相对平均增益，且训练稳定性得到改善。

📝 摘要（中文）

扩散大语言模型（dLLMs）作为自回归模型的高效替代品，在通过强化学习（RL）进行对齐时，需要从掩蔽重建子问题中估计似然替代物。现有方法采用均匀随机掩蔽构建这些子问题，未能有效优先选择重要子问题。本文识别出dLLM回滚中的系统性上下游结构，发现掩蔽下游标记能显著改善子问题的构造。基于此，提出了知情掩蔽（IM），通过无额外推理成本的去噪轨迹为每个标记生成优先级评分，并偏向于下游标记的掩蔽采样。IM在三种最先进的dLLM RL方法中应用，显著提高了数学和规划基准的训练稳定性和性能。

🔬 方法详解

问题定义：论文要解决的问题是如何在扩散大语言模型中有效构建掩蔽重建子问题。现有方法通过均匀随机掩蔽构建子问题，未能有效优先选择重要的子问题，导致训练效率低下和性能不足。

核心思路：论文的核心思路是识别dLLM回滚中的上下游结构，发现某些标记的揭示会显著影响附近未解码位置的置信度变化。通过优先掩蔽下游标记，能够构建更好定义的子问题，从而提高训练效果。

技术框架：整体架构包括三个主要模块：首先，通过去噪过程分析标记的影响力；其次，基于影响力生成每个标记的优先级评分；最后，利用这些评分进行掩蔽采样，优先选择下游标记。

关键创新：最重要的技术创新点是提出了知情掩蔽（IM），它通过去噪轨迹生成标记优先级评分，且在推理过程中没有额外的计算开销。这与现有方法的本质区别在于，IM能够动态调整掩蔽策略，提升子问题的构造质量。

关键设计：关键设计包括优先级评分的计算方法，确保其能够准确反映标记的上下游影响力。此外，IM的实现是即插即用的，能够与现有的dLLM RL方法无缝集成。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，知情掩蔽（IM）在LLaDA-8B-Instruct上应用后，三种最先进的dLLM RL方法分别实现了最高2.01%、8.68%和5.77%的相对平均增益，显著提升了数学和规划基准的训练稳定性，展示了IM的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过优化扩散大语言模型的训练过程，能够提升模型在复杂任务中的表现，进而推动智能系统的智能化和实用化。未来，IM方法可能在多种语言模型的训练中得到广泛应用，提升其效率和稳定性。

📄 摘要（原文）

Diffusion Large Language Models (dLLMs) have emerged as an efficient alternative to autoregressive models, yet aligning them via Reinforcement Learning (RL) requires likelihood surrogates estimated from masked reconstruction subproblems under a small Monte Carlo budget per rollout. Existing methods construct these subproblems by uniform random masking, leaving open the question of which subproblems to prioritize. We identify a systematic upstream/downstream structure in dLLM rollouts. Some tokens, when revealed, trigger large confidence changes in nearby undecoded positions; we call them upstream. Others induce only small local changes and are therefore downstream. We find masking downstream tokens yields substantially better-posed subproblems than masking upstream tokens, a phenomenon we term subproblem difficulty asymmetry. Based on the observation, we propose Informed Masking (IM), which derives a per-token priority score from the denoising trajectory at zero extra inference cost and biases mask sampling toward downstream tokens. IM is plug-and-play: when plugged into three state-of-the-art dLLM RL methods on LLaDA-8B-Instruct, it delivers up to 2.01%, 8.68%, and 5.77% relative average gains on math and planning benchmarks with improved training stability.