World Action Modeling with Progressive Visual Planning

📄 arXiv: 2610.02508v1 📥 PDF

作者: Fei Zhang, Zhaochong An, Duncan Frost, Yikai Wang, Pengfei Liu, Ya Zhang, Michal Drozdzal, Amir Bar

分类: cs.AI, cs.CV, cs.RO

发布日期: 2026-10-01

备注: Project Page: https://sii-ferenas.github.io/ProWAM-page

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出ProWAM以解决长时间预测中的视觉动态与动作生成问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界动作模型 视觉动态预测 机器人控制 稀疏子目标 动作生成 闭环控制 长时间预测

📋 核心要点

  1. 现有的世界动作模型在长时间预测方面效率低下，难以生成密集的视频回放。
  2. ProWAM通过联合预测动作和稀疏视觉子目标，提供明确的视觉指导，从而提高了任务执行的效率。
  3. 在多个基准测试中，ProWAM的表现超过了最强基线，尤其在零-shot实验中取得了显著的成功率提升。

📝 摘要（中文）

世界动作模型（WAMs）作为一种新兴的机器人控制范式，通过从初始观察和指令中共同预测未来的视觉动态和动作，展现出良好的潜力。然而，现有WAM在长时间预测方面存在困难，生成密集视频回放效率低下。为此，本文提出了ProWAM，一个渐进式世界动作模型，能够联合预测动作和有序的稀疏视觉子目标，为任务执行提供明确的视觉指导。ProWAM通过单次视频骨干前向传递缓存稀疏子目标特征，避免了迭代生成完整视频的过程，显著提高了动作生成的效率。实验结果表明，ProWAM在多个基准测试中表现优异，尤其在零-shot真实世界实验中取得了70.0%的成功率，显示出其在闭环控制中的重要价值。

🔬 方法详解

问题定义：本文旨在解决现有世界动作模型在长时间预测中的效率低下问题，尤其是在生成密集视频回放时的计算负担。现有方法往往忽视了如何有效地朝目标进展。

核心思路：ProWAM的核心思路是通过联合预测动作和稀疏视觉子目标，提供明确的视觉指导，从而在任务执行过程中引导动作生成。这种设计使得模型能够从大规模无动作视频中学习子目标预测，减轻了动作策略的复杂性。

技术框架：ProWAM的整体架构包括视频骨干网络和动作生成模块。视频骨干负责提取稀疏子目标特征，而动作生成模块则基于这些特征进行高效的动作生成。通过单次前向传递，ProWAM能够缓存必要的特征，避免了重复生成完整视频的过程。

关键创新：ProWAM的主要创新在于其渐进式的视觉规划能力，通过稀疏子目标的预测，显著提高了长时间预测的效率。这一设计与传统方法的本质区别在于，ProWAM不再依赖于完整视频的生成，而是通过子目标引导动作生成。

关键设计：在技术细节上，ProWAM采用了轻量级的动作去噪策略，并通过损失函数优化稀疏子目标的预测精度。网络结构上，视频骨干与动作生成模块的协同工作是其成功的关键。整体设计使得模型在处理复杂任务时更加高效。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ProWAM在多个模拟基准测试中表现出色，LIBERO-Plus上达到85.8%的新状态，RoboTwin上达到75.7%，相较于最强基线提升了35.9%。在RoboCasa365上，ProWAM的成功率为48.1%，在Composite-Unseen分割上为18.2%，在零-shot真实世界实验中成功率达到70.0%，较最强基线提升15.0个百分点，显示出显著的性能优势。

🎯 应用场景

ProWAM的研究成果在机器人控制、自动化任务执行以及智能家居等领域具有广泛的应用潜力。通过提供高效的视觉动态预测和动作生成能力，ProWAM能够在复杂环境中实现更为灵活和智能的操作，推动机器人技术的进一步发展。

📄 摘要（原文）

World action models (WAMs) have emerged as a promising paradigm for robotic control by jointly predicting future visual dynamics and actions from an initial observation and instruction. However, existing WAMs struggle with long-horizon prediction, as generating dense video rollouts is highly inefficient. Some recent WAMs address this by predicting a single future frame without generating the full video, but this approach neglects how to progress toward the goal. We present ProWAM, a progressive world action model that jointly predicts actions and an ordered sequence of sparse visual sub-goals, providing explicit visual guidance to anchor action generation throughout task execution. This design scales naturally, as sub-goal prediction can be learned from large-scale action-free videos, allowing the video backbone to offload complex visual planning from the action policy. For efficient action generation, ProWAM executes a single video-backbone forward pass to cache sparse sub-goal features, eliminating iterative full-video generation and requiring only lightweight action denoising during replanning. Across extensive evaluations, ProWAM achieves superior out-of-distribution robustness. On simulation benchmarks, it sets new state-of-the-art results on LIBERO-Plus (85.8%) and randomized RoboTwin (75.7%), outperforming the strongest baseline with relative gains of up to +35.9%. On RoboCasa365, ProWAM achieves a 48.1% success rate and 18.2% on the challenging Composite-Unseen split, ranking 4th overall. Crucially, in zero-shot real-world experiments, ProWAM achieves 70.0% success, outperforming the strongest baseline by +15.0 (from 55.0% to 70.0%, a +27.3% relative gain) in novel scenes. These results demonstrate the value of progress-indexed visual foresight for closed-loop control. Our program is in https://sii-ferenas.github.io/ProWAM-page.