EVO-WAM: Evolving World Action Models through Video-Action Verification

📄 arXiv: 2609.38057v1 📥 PDF

作者: Shiyang Zhou, Xionghao Wu, Wenbo Li, Shenghe Zheng, Jiyao Zhang, Songsong Yu, Yijun Yang, Jianhui Liu, Haoze Sun, Senqiao Yang, Li Jiang, Jingyong Su, Haoyang Huang, Zhuotao Tian

分类: cs.CV, cs.RO

发布日期: 2026-09-29

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出EVO-WAM框架以解决机器人学习任务适应性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人学习 世界动作模型 视频-动作轨迹 任务适应性 自生成学习 视觉-语言模型 逆动力学模型

📋 核心要点

  1. 现有的机器人学习方法在新任务上缺乏有效的适应性，尤其是在没有额外专家示范的情况下。
  2. EVO-WAM框架通过自生成的视频-动作轨迹进行学习，避免了外部执行反馈的依赖，增强了模型的适应性。
  3. 在七个未见的RoboTwin 2.0任务中，EVO-WAM将成功率从26.9%提升至68.0%，在实际场景中也取得了显著的成功率提升。

📝 摘要（中文）

在机器人学习中，如何在不收集额外专家示范的情况下提升机器人在新任务上的策略仍然是一个核心挑战。世界动作模型（WAMs）利用广泛的视频先验共同预测未来视频和动作，为适应新任务提供了潜在的监督来源。然而，生成的视频可能无法准确描绘任务完成情况，且即使视觉上成功的视频也可能与不一致的动作配对，导致执行失败。为此，本文提出EVO-WAM框架，通过学习自身生成的视频-动作轨迹来适应未见任务，而无需在外部环境中执行候选动作。实验表明，EVO-WAM在多个新任务上显著提高了成功率。

🔬 方法详解

问题定义：本文旨在解决机器人在新任务上适应性不足的问题，现有方法往往依赖于外部环境的执行反馈，导致任务完成率低下。

核心思路：EVO-WAM通过自生成的视频-动作轨迹进行学习，利用状态预测和多帧上下文增强训练，避免了对外部执行的依赖，从而提高了模型的适应性和成功率。

技术框架：EVO-WAM的整体架构包括三个主要模块：首先是增强的WAM训练，结合状态预测和多帧上下文；其次是通过视觉-语言模型选择可靠的训练经验；最后是基于验证的前缀进行迭代训练和新轨迹生成。

关键创新：EVO-WAM的核心创新在于通过自生成的视频-动作轨迹进行学习，避免了传统方法对外部执行反馈的依赖，显著提高了任务适应性。

关键设计：在模型设计中，采用了状态预测和锚定多帧上下文的策略，同时利用逆动力学模型验证视频-动作的一致性，确保训练数据的可靠性。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EVO-WAM在七个未见的RoboTwin 2.0任务中，成功率从26.9%提升至68.0%，在DreamZero任务中从28.5%提升至46.4%。在实际场景的长时间复合任务中，Cosmos3的成功率从20.0%提升至76.7%，提升幅度达到56.7个百分点，显示出显著的性能改进。

🎯 应用场景

EVO-WAM框架在机器人学习领域具有广泛的应用潜力，尤其适用于需要快速适应新任务的场景，如工业自动化、服务机器人和智能家居等。通过提高机器人在未知环境中的任务执行能力，能够显著提升其实际应用价值和市场竞争力。

📄 摘要（原文）

Improving robot policies on new tasks without collecting additional expert demonstrations remains a central challenge in robot learning. World action models (WAMs) use broad video priors to jointly predict future videos and actions, offering a potential source of supervision for adapting to new tasks. However, generated videos may fail to depict task completion, and even visually successful videos may be paired with inconsistent actions that lead to execution failure. We propose EVO-WAM, a framework that adapts WAMs to unseen tasks by learning from their own generated video-action trajectories, without executing candidate actions in an external environment. First, we augment WAM training with state prediction and anchored multi-frame context to enable complete autoregressive rollouts without external execution feedback. Second, we identify reliable training experience by selecting task-completing prefixes with a vision-language model and verifying their video-action consistency with an inverse dynamics model. Third, we iteratively train the WAM on verified prefixes and generate new rollouts with the updated model. On seven unseen RoboTwin 2.0 tasks, EVO-WAM increases average success rates from 26.9% to 68.0% for Cosmos3 and from 28.5% to 46.4% for DreamZero, reaching approximately $2.5\times$ and $1.6\times$ their initial success rates. On three unseen long-horizon composite tasks in the real world, it improves Cosmos3's average success rate from 20.0% to 76.7%, a gain of 56.7 percentage points. Project Page: https://evo-wam.github.io/.