Learning Native Reflection in Unified Models with Interleaved Reinforcement Learning
作者: Yijia Fan, Ziqi Huang, Zhongang Cai, Yan Li, Zimo Wen, Wanqi Yin, Haiwen Diao, Ziwei Liu
分类: cs.CV, cs.AI
发布日期: 2026-09-28
💡 一句话要点
提出UMM-Reflection以解决多模态模型自我修复问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态模型 自我修复 强化学习 反思学习 图像生成 性能提升
📋 核心要点
- 现有方法在多模态模型的自我修复能力上存在不足，无法有效找到高成功率的修复路径。
- 论文提出UMM-Reflection，通过强化学习优化反思轨迹，利用共享初始图像的兄弟轨迹比较反思策略。
- 实验结果显示，UMM-Reflection在BAGEL上提升GenEval评分12.05点，并在多个未训练基准上也取得显著提升。
📝 摘要（中文）
统一的多模态模型能够同时观察和生成图像，因此理论上可以修复自身生成的内容：诊断图像错误、修正并观察结果。然而，修正是否有效只有在渲染后才能得知，因此反思文本和图像生成必须在整个循环中共同学习。传统的监督微调方法在反思轨迹上存在冷启动问题，而简单的强化学习方法则未能充分挖掘潜在收益。本文提出UMM-Reflection，通过在统一模型内应用强化学习来完成反思轨迹，避免了每轮信用分配的组合爆炸问题。实验结果表明，UMM-Reflection在多个基准测试中显著提升了性能。
🔬 方法详解
问题定义：本文旨在解决统一多模态模型在自我修复过程中的反思学习问题。现有方法如监督微调和简单强化学习未能有效找到高成功率的修复路径，导致性能未能充分发挥。
核心思路：UMM-Reflection的核心思路是通过强化学习优化反思轨迹，利用共享初始图像的兄弟轨迹来比较不同的反思策略，从而实现更高效的学习。
技术框架：整体架构包括反思轨迹的生成与优化，模型内部的信用流动机制，以及反思令牌与流基修正的联合更新。通过这种方式，避免了每轮信用分配的组合爆炸问题。
关键创新：最重要的技术创新在于通过强化学习实现反思轨迹的联合优化，使得信用能够跨轮次流动，避免了对外部验证者的依赖。这与传统的单轮编辑或外部评估方法有本质区别。
关键设计：在模型设计中，采用了共享初始图像的兄弟轨迹，设置了适应性损失函数，以便更好地更新反思令牌和修正流。此外，模型的训练过程中强调了轨迹级别的优势更新机制。
🖼️ 关键图片
📊 实验亮点
实验结果表明，UMM-Reflection在BAGEL基准上提升GenEval评分12.05点，且在WISE、OneIG-Bench和T2I-CompBench++等多个未训练基准上也分别提升了10.97、3.48和4.63点，显示出显著的性能改进。
🎯 应用场景
该研究的潜在应用领域包括图像生成、图像修复和多模态交互系统等。UMM-Reflection能够提高模型在生成任务中的自我修复能力，具有重要的实际价值，未来可能推动更智能的图像处理和生成技术的发展。
📄 摘要（原文）
Unified multimodal models can both look at and render images, so in principle they can repair their own generations: diagnose what an image gets wrong, revise it, observe the result, and diagnose again. Whether a revision helps is known only after it is rendered, so the reflection text and the image generation must be learned jointly, over the whole loop. Supervised fine-tuning (SFT) on reflection trajectories gives a cold start but does not find the high-success repair paths, and naive RL that optimizes only the renderer or only one head leaves most of the gain untapped. We introduce UMM-Reflection, which applies reinforcement learning (RL) to complete reflection trajectories inside one unified model: sibling trajectories share one initial image, so the group-relative advantage compares reflection strategies, and one trajectory-level advantage updates both the reflection tokens and the flow-based revisions, avoiding the combinatorial blow-up of per-round credit assignment. Unlike single-round editing or pipelines with an external critic, credit flows across rounds and to both roles of the same model, and no verifier is needed at inference. On BAGEL, UMM-Reflection improves GenEval by 12.05 points over SFT, and the gains transfer to WISE (+10.97), OneIG-Bench (+3.48), and T2I-CompBench++ (+4.63), none of which is used in training.