Back on Track: Deployment-time Policy Improvement via World Model Planning
作者: Colton Crosby, Hao Wang, Mac Schwager, Somil Bansal
分类: cs.RO
发布日期: 2026-10-14
💡 一句话要点
提出离线监控干预框架以提升部署时策略性能
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉运动策略 实时控制 监控与干预 世界模型 任务成功率 黑箱查询 短期规划
📋 核心要点
- 现有的视觉运动策略在复杂任务中表现良好，但在实际应用中常常无法应对意外情况，导致失败。
- 本文提出了一种基于离线训练的监控与干预框架，通过黑箱查询在部署时提升策略性能，避免了重新训练的高成本。
- 实验结果表明，该方法在LIBERO-Goal任务和Franka Panda操控器上显著提高了任务成功率，支持实时控制。
📝 摘要（中文）
现有的视觉运动策略在执行复杂任务时表现出色，但在实际部署中可能会遇到无法预测或恢复的失败。传统的改进方法通常需要收集更多数据、重新训练或修改策略架构，耗时且资源密集。本文提出了一种离线训练的监控与干预框架，通过黑箱查询访问在部署过程中改进策略。我们从有限的标记在线回放中学习策略条件的活跃值，监测任务完成的进展；同时，利用这些回放和游戏数据训练紧凑的潜在世界模型。在部署时，活跃值持续监测执行，当检测到进展丧失时，短期规划器在世界模型中搜索纠正动作，随后控制权返回给原始策略。我们在LIBERO-Goal任务套件和Franka Panda操控器上评估了该方法，显著提高了任务成功率，并支持实时控制。
🔬 方法详解
问题定义：本文旨在解决现有视觉运动策略在实际部署中无法预测和恢复失败的问题。传统方法需要大量数据和时间进行重新训练，效率低下。
核心思路：提出一种离线训练的监控与干预框架，通过黑箱查询访问在部署过程中实时改进策略，避免了重训练的复杂性。
技术框架：整体架构包括两个主要模块：一是通过有限的标记在线回放学习策略条件的活跃值，二是训练一个紧凑的潜在世界模型。在部署时，活跃值监测执行进展，短期规划器在世界模型中搜索纠正动作。
关键创新：最重要的创新在于利用活跃值作为规划目标，结合世界模型进行短期规划，从而实现实时干预和策略改进。这与传统的重训练方法形成鲜明对比。
关键设计：关键设计包括活跃值的定义和计算方式，以及世界模型的训练过程。损失函数和网络结构的选择确保了模型的紧凑性和高效性。具体的参数设置和训练细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在LIBERO-Goal任务上任务成功率提高了显著的百分比，且在Franka Panda操控器上实现了实时控制，验证了其有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动驾驶和智能制造等场景，能够在复杂和动态环境中提升系统的鲁棒性和适应性。未来，该方法有望在更多实际应用中推广，减少人工干预，提高自动化水平。
📄 摘要（原文）
State-of-the-art visuomotor policies are increasingly capable of executing complex tasks, yet can fail during deployment in ways they cannot predict or recover from on their own. Improving their performance and robustness typically requires collecting more data, retraining, or modifying the policy architecture, all of which are time- and resource-intensive in practice. We instead propose an offline-trained monitoring-and-intervention framework that improves a policy during deployment using only black-box query access. From a limited set of labeled on-policy rollouts, we learn a policy-conditioned liveness value that measures the nominal policy's progress toward task completion; we additionally train a compact latent world model using these rollouts together with play data. At deployment, the liveness value continuously monitors execution. When it detects a loss of progress, a short-horizon planner searches the world model for corrective actions using the same value as its planning objective, after which control returns to the nominal policy. We evaluate our method on the LIBERO-Goal task suite and on a Franka Panda manipulator, using the vision-language-action model $π_{0.5}$ and a diffusion policy as nominal policies, and demonstrate significant improvements in task success rates, while supporting real-time control. Additional results and videos are available on the project website (https://policy-improvement-wm.pages.dev/).