LoopWAM: Closed-Loop Generalist Policy Improvement from Deployment Rollouts
作者: Wenxuan Guo, Yingping Liang, Zhaoguo Wang, Ziyuan Li, Angyuan Ma, Zhenyu Wu, Chengkun Wang, Bingyao Yu, Ze Chen, Borui Zhang, Xiuwei Xu, Meng Zhang, Erjin Zhou, Jiwen Lu
分类: cs.RO, cs.CV
发布日期: 2026-10-13
备注: Project page: https://loop-wam.github.io/
💡 一句话要点
提出LoopWAM以解决机器人政策在部署中的改进问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 闭环学习 机器人政策 多任务学习 世界建模 行为学习 质量引导 视频监督
📋 核心要点
- 现有方法无法有效利用真实世界中的多样化回放数据，导致机器人政策的改进受限。
- LoopWAM通过闭环世界-动作模型，直接从多种质量的回放中学习，结合行为学习与世界建模。
- 在多个基准测试中，LoopWAM显著提升了成功率，展示了其在多任务学习和单任务后训练中的有效性。
📝 摘要（中文）
仅仅扩展专家示范并不能使通用机器人政策在实际部署中得到改善。现实世界的回放包含成功、次优行为和失败：模仿每个记录的动作可能会强化不良行为，而过滤失败则会丢失物理交互及其后果的证据。我们提出了LoopWAM，一个闭环世界-动作模型，直接从这一全质量谱中学习，利用自身和其他部署政策的回放。源依赖噪声采样统一了行为学习和动作条件世界建模，而质量引导和质量加权监督则保留了跨质量的完整视频监督并调节动作模仿。在RoboChallenge Table30-V2上，经过三轮部署和训练，成功率从23.67%提升至43.33%，提升幅度为19.7个百分点，最终得分为56.80。LoopWAM在RoboTwin 2.0上实现了94.5%的平均成功率，在RoboCasa365上整体成功率为49.5%，在所有三个基准中获得了最佳结果。
🔬 方法详解
问题定义：论文要解决的问题是如何从多样化的真实世界回放中有效改进机器人政策。现有方法往往忽视了失败案例，导致学习效果不佳。
核心思路：LoopWAM的核心思路是通过闭环模型直接从多种质量的回放中学习，避免了简单模仿导致的负面影响，同时保留了重要的失败信息。
技术框架：整体架构包括源依赖噪声采样、行为学习模块和动作条件世界建模模块。通过视频和动作令牌的交互，进行并行去噪，确保学习到的后果能够直接影响动作生成。
关键创新：LoopWAM的关键创新在于其闭环学习机制，能够同时处理成功和失败的回放数据，与现有方法相比，能够更全面地利用真实世界的经验。
关键设计：在设计中，采用了质量引导和质量加权监督策略，确保不同质量的回放数据都能有效参与学习过程，同时在损失函数中引入了对动作模仿的调节机制。
🖼️ 关键图片
📊 实验亮点
在RoboChallenge Table30-V2上，LoopWAM成功率从23.67%提升至43.33%，提升幅度达19.7个百分点，最终得分为56.80。在RoboTwin 2.0上实现94.5%的平均成功率，RoboCasa365整体成功率为49.5%，在所有基准中表现最佳。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和家庭助理等场景。通过提升机器人在复杂环境中的适应能力，LoopWAM能够在实际应用中实现更高的效率和可靠性，推动智能机器人技术的发展。
📄 摘要（原文）
Scaling expert demonstrations alone does not enable generalist robot policies to improve from deployment. Real-world rollouts contain successes, suboptimal behavior, and failures: imitating every recorded action can reinforce poor behavior, while filtering out failures discards evidence of physical interactions and their consequences. We introduce \textbf{LoopWAM}, a closed-loop world-action model that learns directly from this full quality spectrum, using rollouts from both itself and other deployed policies. Source-dependent noise sampling unifies behavior learning and action-conditioned world modeling, while quality steering and quality-weighted supervision retain full video supervision across qualities and regulate action imitation. Video and action tokens interact throughout parallel denoising, allowing learned consequences to inform action generation directly. On RoboChallenge Table30-V2, three deployment-and-training rounds raise success from 23.67\% to 43.33\%, a 19.7-percentage-point gain, with a final score of 56.80. LoopWAM also achieves 94.5\% average success on RoboTwin~2.0 and 49.5\% overall success on RoboCasa365 without additional embodied pretraining, obtaining the best overall results among the compared methods across all three benchmarks. On challenging shirt folding task, two rounds of deployment-driven improvement after single-task post-training raise success from 13.20\% to 55.56\%. These results demonstrate closed-loop improvement from mixed-quality experience under both multi-task learning and single-task post-training. \href{https://loop-wam.github.io/}{\textcolor{orange}{Project Page}}