Rolling-WAM: World Action Models with Rolling Imagination
作者: Yinghua Zhou, Junjie Ye, Yiqi Zhao, Hao Dong, Celina Shiyu Wang, Ruohai Ge, Tingyi Yang, Basile Van Hoorick, Gaurav Sukhatme, Vitor Guizilini, Yue Wang
分类: cs.RO, cs.AI, cs.CV
发布日期: 2026-09-24
备注: 10 pages, 7 figures, 5 tables. Under review. Project page: https://rolling-wam.github.io/
💡 一句话要点
提出Rolling-WAM以解决机器人操作中的延迟问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 世界动作模型 机器人操作 去噪技术 实时响应 滑动窗口机制
📋 核心要点
- 现有的世界动作模型在每个重新规划周期中需要完成联合视频-动作去噪，导致显著的延迟，影响机器人操作的实时性。
- Rolling-WAM通过在连续的重新规划周期中分配去噪过程，采用滑动窗口策略来处理不同噪声水平的视频-动作块，从而提高响应速度。
- 实验结果表明，Rolling-WAM在多个平台上实现了优越的操作性能，并且在去噪效率上相比传统方法有显著提升。
📝 摘要（中文）
世界动作模型（WAMs）将动作生成与未来视觉预测结合用于机器人操作。然而，在每个重新规划周期中完成联合视频-动作去噪过程会导致显著的延迟，影响动作更新和闭环响应能力。本文提出Rolling-WAM，一种在连续重新规划周期中分配联合去噪的方案。该方法保持一个滑动窗口，包含不同噪声水平的视频-动作块。在每一步中，滚动噪声调度完全去噪即将执行的动作块，同时部分优化更远的未来块。随着窗口的推进，新相机观测的引入，保留的未来块继续去噪过程。通过这种方式，Rolling-WAM在时间上分配计算成本，同时在块边界之间保持不断演变的视觉-动作上下文。评估结果表明，Rolling-WAM在LIBERO、RoboTwin和真实世界的Unitree G1人形机器人上实现了竞争性的操作性能，并且在去噪整个预测范围的需求被移除后，相较于标准联合WAMs，提供了4.5倍的稳态重新规划速度提升。
🔬 方法详解
问题定义：本文旨在解决现有世界动作模型在机器人操作中因联合视频-动作去噪导致的延迟问题。现有方法在每个重新规划周期都需要从头开始去噪，造成响应速度慢，影响闭环控制的效果。
核心思路：Rolling-WAM的核心思路是将去噪过程分散到多个重新规划周期中，通过维护一个滑动窗口来处理不同噪声水平的视频-动作块，从而实现更高效的实时反应。
技术框架：该方法的整体架构包括一个滑动窗口机制，窗口内包含多个视频-动作块，每个块在不同的噪声水平下进行处理。每次执行时，当前块被完全去噪，而更远的块则进行部分去噪。
关键创新：Rolling-WAM的主要创新在于其分布式去噪策略，允许在每个周期中只处理即将执行的动作块，而不是重新去噪整个预测范围。这种设计显著提高了去噪效率和响应速度。
关键设计：在关键设计上，Rolling-WAM采用了滚动噪声调度机制，确保在每个周期中有效利用计算资源。同时，设计了适应性去噪算法，以便在不同的时间步长中优化去噪效果。通过这种方式，系统能够在保持高效性的同时，确保动作的准确性和稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Rolling-WAM在LIBERO、RoboTwin和Unitree G1人形机器人上的操作性能具有竞争力，并且在去噪效率上实现了4.5倍的稳态重新规划速度提升，相较于传统的联合WAM方法，表现出显著的优势。
🎯 应用场景
Rolling-WAM的研究成果在机器人操作、自动化生产线和智能家居等领域具有广泛的应用潜力。通过提高机器人在动态环境中的响应速度和操作精度，该方法能够显著提升机器人在复杂任务中的表现，推动智能机器人技术的进一步发展。
📄 摘要（原文）
World Action Models (WAMs) couple action generation with future visual prediction for robotic manipulation. However, completing the joint video-action denoising process at each replanning cycle incurs substantial latency, delaying action updates and limiting closed-loop responsiveness. We present Rolling-WAM, a formulation that distributes joint denoising across successive replanning cycles. Our method maintains a sliding window of video-action chunks at staggered noise levels. At each step, a rolling noise schedule fully denoises the imminent action chunk for execution, while partially refining farther-future chunks. As the window advances with new camera observations, the retained future chunks continue their denoising process. This distributes the computational cost over time while carrying an evolving visual-action context across chunk boundaries. Evaluations on LIBERO, RoboTwin, and a real-world Unitree G1 humanoid show that Rolling-WAM achieves competitive manipulation performance. By removing the need to denoise the entire prediction horizon from scratch, it delivers a 4.5x steady-state replanning speedup over standard joint WAMs.