Unified Trajectory Matching Policy Optimization: Diverse T2I Generation and VLA Generalization

📄 arXiv: 2609.34688v1 📥 PDF

作者: Zhiyuan Ma, Jiaming Li, Lingzhen Li, Yu Liu, Xuekai Zhu, Dingkang Liang, Kaiyan Zhang, Jianjun Li, Bowen Zhou, Xiang Bai

分类: cs.CV

发布日期: 2026-09-28

💡 一句话要点

提出统一轨迹匹配策略优化以解决T2I生成与VLA泛化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 文本到图像生成 视觉-语言-动作 策略优化 多样性生成 Kullback-Leibler优化 后训练框架

📋 核心要点

  1. 现有的奖励最大化强化学习方法在T2I生成中导致模式崩溃，生成的图像缺乏多样性。
  2. Uni-TMPO通过将标准化奖励转化为目标分布，并采用Kullback-Leibler优化来匹配分布，解决了模式崩溃问题。
  3. 实验结果显示，Uni-TMPO在T2I奖励和VLA成功率上超越了最强基线，且实现了最佳的奖励-多样性-效率平衡。

📝 摘要（中文）

奖励最大化的强化学习（RL）广泛应用于后训练随机扩散和流策略以生成文本到图像（T2I）。然而，这种方法导致策略模式崩溃，生成相似图像并造成奖励黑客。为了解决这一问题，本文提出了统一轨迹匹配策略优化（Uni-TMPO），该框架通过将标准化奖励转换为目标分布并通过Kullback-Leibler优化匹配分布，避免了奖励最大化带来的问题。实验表明，Uni-TMPO在T2I奖励和VLA成功率上均优于现有基线，且在多任务和场景泛化方面表现出色。

🔬 方法详解

问题定义：本文旨在解决现有奖励最大化强化学习方法在文本到图像生成（T2I）和视觉-语言-动作（VLA）模型中导致的策略模式崩溃问题。现有方法在生成过程中容易陷入单一高奖励模式，导致生成图像缺乏多样性，且在VLA任务中削弱了场景和任务的泛化能力。

核心思路：Uni-TMPO的核心思想是将标准化的奖励转化为目标分布，并通过Kullback-Leibler优化来匹配策略分布，而不是简单地最大化期望奖励。这种方法能够有效避免模式崩溃，促进生成多样性。

技术框架：Uni-TMPO的整体框架包括两个主要模块：首先是将奖励转换为目标分布的过程，其次是通过前向Kullback-Leibler优化来匹配策略分布。此外，进度条件的粗到细调度器用于高效构建T2I轨迹，而反馈条件采样则用于构建VLA轨迹。

关键创新：Uni-TMPO的主要创新在于其统一的后训练框架，通过匹配目标分布而非最大化奖励来避免模式崩溃。这一方法在设计上与传统的奖励最大化策略有本质区别，能够有效提升生成的多样性和泛化能力。

关键设计：在技术细节上，Uni-TMPO采用了标准化奖励的转换机制，设计了进度条件调度器，并在反馈条件采样中使用了更新的观测值。这些设计确保了生成过程的高效性和多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Uni-TMPO在T2I生成中获得了更高的奖励，并在VLA任务中实现了更高的成功率，超越了最强基线。此外，Uni-TMPO在奖励、多样性和效率之间达成了最佳平衡，展示了其在多任务和场景泛化方面的优越性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、机器人控制和多模态学习等。通过提升文本到图像生成和视觉-语言-动作任务的性能，Uni-TMPO能够在实际应用中提供更丰富的生成内容和更高的任务成功率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reward-maximizing reinforcement learning (RL) is widely used to post-train stochastic diffusion and flow policies for text-to-image (T2I) generation. However, reward-maximizing RL causes policy mode collapse even under reference KL or entropy regularization, reducing the policy to a single high-reward mode. In T2I, this produces similar images and reward hacking. When extended to vision-language-action (VLA) models, the same collapse removes alternative successful strategies and weakens task and scene generalization. To address this limitation, we introduce Unified Trajectory Matching Policy Optimization (Uni-TMPO), a unified RL post-training framework for diffusion and flow policies. First, Uni-TMPO converts standardized rewards into a target distribution within each trajectory group and derives the policy distribution from trajectory log probabilities. Then, forward Kullback-Leibler optimization matches the two distributions instead of maximizing expected reward. A progress-conditioned coarse-to-fine scheduler efficiently constructs T2I trajectories. Within the unified framework, feedback-conditioned sampling uses updated observations to construct VLA trajectories. Extensive experiments show that Uni-TMPO achieves higher T2I rewards and VLA ID success rates than the strongest baselines. More importantly, it achieves the best T2I reward-diversity-efficiency trade-off and VLA generalization to held-out tasks and scenes, while real-robot evaluation demonstrates the value of multiple action strategies when the higher-reward target is blocked.