OGPO: Offline Goal-conditioned Policy Optimization for Recoverable Vision-Language-Action Models

📄 arXiv: 2610.12914v1 📥 PDF

作者: Xule Gao, Xi Wang, Zehua Zang, Rui Wang, Changwen Zheng, Chuxiong Sun

分类: cs.AI

发布日期: 2026-10-09

备注: Accepted at NeurIPS 2026

💡 一句话要点

提出OGPO框架以解决VLA模型恢复能力不足问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 策略优化 机器人操作 离线学习 鲁棒性 目标导向 关键状态学习

📋 核心要点

  1. 现有的VLA模型后训练方法主要依赖于轨迹级别的监督模仿，导致策略对特定演示路径的偏倚。
  2. OGPO框架通过自适应重新标记轨迹中的关键状态，优化策略以实现任务进展状态的可达性。
  3. 实验结果显示，OGPO在多个基准上均优于标准的监督微调，提升了策略的鲁棒性和目标导向恢复能力。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在机器人操作中展现出强大的潜力，但其后训练仍主要依赖于基于轨迹的监督模仿。现有方法在每一步监督策略重现专家动作，导致策略偏向于特定的演示路径，限制了在执行偏离演示轨迹时恢复任务进展状态的能力。为了解决这一问题，本文提出了OGPO，一个用于可恢复VLA后训练的离线目标条件策略优化框架。OGPO通过自适应重新标记轨迹中的语义关键状态，并构建目标条件过程奖励，优化策略以达到这些任务进展状态，从而使VLA后训练从轨迹级别的动作模仿转变为关键状态可达性学习。实验结果表明，OGPO在LIBERO和MetaWorld上显著提升了VLA策略性能。

🔬 方法详解

问题定义：本文旨在解决现有VLA模型后训练中对轨迹级别动作模仿的依赖，导致策略在执行偏离演示轨迹时缺乏恢复能力的问题。

核心思路：OGPO框架通过将离线演示视为关键状态的语义标记，构建目标条件奖励，优化策略以达到任务进展状态，从而增强策略的鲁棒性。

技术框架：OGPO的整体架构包括轨迹重新标记模块、目标条件奖励构建模块和策略优化模块，形成一个闭环的优化流程。

关键创新：OGPO的主要创新在于将轨迹级别的动作模仿转变为关键状态可达性学习，显著提升了策略在偏离演示状态下的恢复能力。

关键设计：OGPO采用了自适应的轨迹重新标记机制，设计了基于关键状态的奖励函数，并在策略优化中引入了目标导向的学习策略。具体的损失函数和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OGPO在LIBERO和MetaWorld基准上均显著提升了VLA策略性能，尤其在LIBERO-Plus和LIBERO-ReAct基准测试中，OGPO展现出更强的鲁棒性和目标导向恢复能力，提升幅度超过20%。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和人机协作等。通过提升VLA模型在复杂环境中的恢复能力，OGPO能够在实际操作中实现更高的灵活性和适应性，推动智能机器人技术的发展。

📄 摘要（原文）

Vision-language-action (VLA) models have shown strong promise in robotic manipulation, yet their post-training still predominantly relies on trajectory-level supervised imitation over robot demonstrations. While effective for learning feasible actions, this paradigm supervises policies to reproduce expert actions at each step, biasing them toward demonstration-specific action paths and providing limited guidance for recovering toward task-progress states once execution deviates from demonstrated trajectories. To address this limitation, we propose OGPO, an Offline Goal-conditioned Policy Optimization framework for recoverable VLA post-training. Instead of treating offline demonstrations merely as step-wise action labels, OGPO adaptively relabels trajectories with semantic key states and constructs goal-conditioned process rewards to optimize the policy for reaching these task-progress states. In this way, OGPO shifts VLA post-training from trajectory-level action imitation to key-state reachability learning, enabling policies to acquire a more robust ability to complete goal states from feasible off-demonstration states without requiring additional online interaction. Experiments on LIBERO and MetaWorld show that OGPO consistently improves VLA policy performance over standard supervised fine-tuning. Moreover, evaluations on LIBERO-Plus and our proposed LIBERO-ReAct, a mid-execution perturbation benchmark, further demonstrate that OGPO achieves stronger robustness and goal-directed recoverability under distribution shifts and recoverable off-demonstration states.