DualWAM: Dual-System World Action Models for Asynchronous Global Planning and Local Refinement
作者: Yixin Zheng, Jiangran Lyu, Yuntian Deng, Kai Liu, Yizhou Zhou, Yizhou Wang, Xiaoguang Zhao, He Wang, Zhizheng Zhang
分类: cs.RO
发布日期: 2026-09-21
备注: Project page: https://steveouo.github.io/DualWAM-Web/
💡 一句话要点
提出DualWAM以解决机器人控制中的响应性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 世界动作模型 机器人控制 全局规划 局部优化 高频更新 去噪算法 动态环境 智能机器人
📋 核心要点
- 现有的世界动作模型在计算上较为昂贵，导致闭环响应性不足，影响机器人控制的实时性。
- DualWAM通过解耦全局规划和局部优化，采用双系统设计，能够在保持长时间动作生成的同时，实现高频率的动作更新。
- 在实验中，DualWAM在零-shot操作任务上相较于最强基线平均提高了4.5个百分点的成功率，并显著提升了处理速度。
📝 摘要（中文）
世界动作模型（WAMs）共同生成机器人动作并预测未来世界状态，将视频预训练的先验知识转移到机器人控制中。然而，未来视觉预测的计算成本较高，现有WAMs通常依赖长动作块来分摊推理成本，从而牺牲了闭环响应性。本文提出DualWAM，一种双系统WAM，通过解耦全局规划和局部优化，保持更广泛的世界动作生成，同时实现高频闭环动作更新。该系统在Franka和Galbot的零-shot操作任务中，平均提高了4.5个百分点的成功率，并实现了16.6倍的关键路径加速。
🔬 方法详解
问题定义：本文旨在解决现有世界动作模型在机器人控制中由于计算成本高而导致的闭环响应性不足的问题。现有方法通常依赖长动作块来分摊推理成本，影响实时性。
核心思路：DualWAM通过引入双系统设计，分别进行全局规划和局部优化，能够在高频率更新的同时保持更广泛的世界动作生成，从而提高机器人控制的响应性和准确性。
技术框架：DualWAM由两个主要系统组成： 1. extit{全局规划系统（ extit{systwo}）}，定期对更广泛的世界动作块进行高噪声双向去噪，建立全局计划； 2. extit{局部优化系统（ extit{sysone}）}，从中间去噪状态中提取时间对齐的短窗口，利用最新的手腕观察进行低噪声优化。两个系统在共享的去噪轨迹上异步操作，确保全局计划在多个局部更新中重复使用。
关键创新：DualWAM的主要创新在于其双系统设计，能够在全局和局部之间高效切换，显著提高了机器人在复杂环境中的操作能力。这种设计与现有方法的本质区别在于其解耦的全局与局部处理方式。
关键设计：在系统设计中，采用了高噪声去噪算法和时间对齐的短窗口提取技术，以确保局部优化能够实时响应最新的环境变化。此外，系统的参数设置和损失函数设计也经过精心调整，以优化整体性能。
🖼️ 关键图片
📊 实验亮点
在零-shot操作任务中，DualWAM相较于最强基线平均提高了4.5个百分点的成功率，并实现了16.6倍的关键路径加速。这表明其在实时响应和操作效率方面的显著优势。
🎯 应用场景
DualWAM在机器人操作、自动化制造和人机交互等领域具有广泛的应用潜力。其高效的全局规划和局部优化能力能够提升机器人在动态环境中的适应性，未来可能推动智能机器人在复杂任务中的应用。
📄 摘要（原文）
World Action Models (WAMs) jointly generate robot actions and predict future world states, transferring priors from video pretraining to robot control. However, future visual prediction is computationally expensive, so existing WAMs often rely on long action chunks to amortize inference cost across control steps, at the cost of closed-loop responsiveness. We present \method, a dual-system WAM that preserves broader-horizon world-action generation while enabling high-frequency closed-loop action updates by decoupling global planning and local refinement. \systwo periodically performs high-noise bidirectional denoising over a broader world-action chunk to establish a global plan, while wrist-only \sysone extracts a temporally aligned short window from the intermediate denoising state and completes low-noise refinement using the latest wrist observations, which provide action-aligned cues about local geometry, motion, and contact during interaction. The two systems operate asynchronously along a shared denoising trajectory: each global plan is reused across multiple local updates, while \sysone repeatedly incorporates fresh interaction feedback. Across zero-shot manipulation tasks on Franka and Galbot, \method improves success over the strongest evaluated baseline by 4.5 percentage points on average, while achieving a 16.6$\times$ critical-path speedup. Further studies show that role-matched egocentric and UMI data improve success by 14 percentage points, and that the decoupled design naturally supports edge--cloud deployment with substantially lower communication overhead than the baseline.