Reinforcing the Generation Order of Multimodal Masked Diffusion Models

📄 arXiv: 2607.08056v1 📥 PDF

作者: Yidong Ouyang, Zhe Wang, Sourav Bhabesh, Dmitriy Bespalov

分类: cs.LG, cs.AI, stat.ML

发布日期: 2026-07-09

💡 一句话要点

提出可学习控制模块以优化多模态生成顺序

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散语言模型 多模态理解 生成顺序优化 群体相对策略优化 文本到图像合成 空间关系捕捉 性能提升

📋 核心要点

  1. 现有方法在文本到图像生成和多模态理解中，无法有效确定最佳生成顺序，导致性能不足。
  2. 论文提出通过可学习控制模块，利用群体相对策略优化（GRPO）来优化生成顺序，从而提升生成效果。
  3. 实验结果显示，该方法在GenEval和VLMEvalKit基准上分别实现了4.08%和4.85%的相对性能提升。

📝 摘要（中文）

扩散语言模型（DLMs）在自然语言生成任务中取得了显著进展。研究表明，自适应的令牌生成顺序可以显著提升数学推理和代码合成的性能。本文探讨了文本到图像合成和多模态理解中的生成顺序优化。我们首先确认，与数独等结构化语言生成问题不同，仅依靠模型logits不足以确定文本到图像生成和多模态理解中的最佳生成序列。为了解决这一挑战，我们引入了通过群体相对策略优化（GRPO）训练的可学习控制模块，以确定生成顺序。结果表明，学习该控制模块显著改善了DLMs中的文本到图像对齐和多模态理解能力，尤其是在捕捉生成图像中的细粒度空间关系方面，同时增强了多模态推理和理解任务的性能。我们在GenEval基准上评估了该框架，取得了4.08%的相对提升。此外，在VLMEvalKit上的实验确认了4.85%的多模态理解相对提升，突显了我们方法的广泛有效性。

🔬 方法详解

问题定义：本文旨在解决文本到图像生成和多模态理解中生成顺序优化的问题。现有方法主要依赖模型logits，无法有效确定最佳生成序列，导致生成效果不佳。

核心思路：论文提出了一种可学习的控制模块，通过群体相对策略优化（GRPO）来动态调整生成顺序，旨在提升生成图像的对齐性和多模态理解能力。

技术框架：整体架构包括输入数据处理、控制模块训练和生成过程三个主要阶段。控制模块负责根据上下文信息优化生成顺序，生成模块则依据优化后的顺序生成图像。

关键创新：最重要的技术创新在于引入了可学习的控制模块，区别于传统方法仅依赖模型logits，能够更灵活地适应不同的生成任务。

关键设计：在设计中，控制模块的训练采用了群体相对策略优化（GRPO），并结合了特定的损失函数以优化生成顺序，确保生成图像的空间关系和多模态理解的准确性。具体的网络结构和参数设置在实验中进行了详细调优。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的方法在GenEval基准上实现了4.08%的相对提升，在VLMEvalKit上则达到了4.85%的相对提升，显著优于传统方法，证明了优化生成顺序的有效性和广泛适用性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理和人机交互等。通过优化生成顺序，可以在图像生成、视频理解和多模态数据分析等任务中实现更高的准确性和效率，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Diffusion Language Models (DLMs) have recently achieved substantial progress in natural language generation tasks. Recent research demonstrates that adaptive token generation ordering can significantly improve performance in mathematical reasoning and code synthesis applications. In this work, we investigate the optimization of generation order for both text-to-image synthesis and multimodal understanding. We first establish that, unlike structured problems in language generation such as Sudoku puzzles, model logits alone are insufficient for determining optimal generation sequences in text-to-image generation and multimodal understanding. To address this challenge, we introduce a learnable control module trained via Group Relative Policy Optimization (GRPO) to determine the generation order. Our results demonstrate that learning this control block substantially improves both text-to-image alignment and multimodal understanding in DLMs. In particular, it enhances the model's ability to capture fine-grained spatial relationships in generated images while also strengthening performance on multimodal reasoning and comprehension tasks. We evaluate our framework on GenEval, an object-focused benchmark for text-to-image alignment, where it achieves 4.08% relative improvements. In addition, experiments on VLMEvalKit confirm 4.85% relative improvements in multimodal understanding, highlighting the broad effectiveness of our approach.