OpenWAM: An Open Framework for Composable World-Action Models

📄 arXiv: 2610.07922v1 📥 PDF

作者: Heng Yu, David D. Yuan, Juze Zhang, Changan Chen, Yao Feng, Michelle Baldonado, Steve Cousins, Li Fei-Fei, Jiajun Wu, Ehsan Adeli

分类: cs.RO, cs.CV

发布日期: 2026-10-06

备注: 18 pages, 5 figures, 14 tables. Project page: https://openwam.stanford.edu ; Code: https://github.com/OpenWAM/OpenWAM ; Code and project page released June 4, 2026. Equal contribution: Heng Yu, David D. Yuan, Juze Zhang

💡 一句话要点

提出OPENWAM框架以解决世界-动作模型设计比较难题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 世界-动作模型 因果学习 机器人控制 视频理解 动态建模

📋 核心要点

  1. 现有的世界-动作模型在设计选择上缺乏统一标准，导致不同系统间的比较困难。
  2. OPENWAM框架通过共享的因果机器人-视频基础和可配置的交互结构，提供了一种标准化的建模方式。
  3. 实验结果显示，OPENWAM在多个任务上显著提升了成功率，尤其是在因果适应训练后，成功率大幅提高。

📝 摘要（中文）

世界-动作模型（WAMs）将未来预测与机器人控制结合，但现有系统在视频骨干、交互结构、监督和推理过程等方面的设计选择难以比较。本文提出OPENWAM，一个基于共同因果机器人-视频基础和可配置视频-动作交互的开放世界-动作建模框架。通过对超过10,000小时视频进行因果机器人-视频预训练，结合共享的混合变换器架构，OPENWAM在四个LIBERO测试套件和实际双手任务上取得了高成功率。通过因果适应的机器人-视频训练，LIBERO-Long上的视频-动作成功率从68.4%提升至97.8%。

🔬 方法详解

问题定义：本文旨在解决现有世界-动作模型在设计选择上缺乏统一标准的问题，导致不同系统间的比较困难。现有方法在视频骨干、交互结构、监督和推理过程等方面的设计选择多样化，使得评估和比较变得复杂。

核心思路：OPENWAM框架的核心思路是构建一个开放的世界-动作建模平台，基于共同的因果机器人-视频基础，允许用户根据需求配置视频-动作交互方式，从而实现不同模型间的有效比较和评估。

技术框架：OPENWAM的整体架构包括因果机器人-视频预训练模块、共享的混合变换器架构以及可配置的交互设计。首先进行大规模视频数据的因果预训练，然后通过混合变换器集成动作专家，支持多种生成方式。

关键创新：OPENWAM的主要创新在于其可配置的架构设计，能够灵活适应不同的任务需求，并且通过因果适应训练显著提升了模型在实际任务中的表现。这种设计与现有方法的固定结构形成鲜明对比。

关键设计：在技术细节上，OPENWAM采用了混合变换器架构，支持视频-动作、动作-视频和解耦生成等多种交互方式。损失函数和参数设置经过精心设计，以确保在不同任务上的高效学习和适应。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OPENWAM在LIBERO-Long任务上的成功率从68.4%提升至97.8%。在四个LIBERO-90任务中，仅通过适应视频预测器的局部逆动态模型，成功率达84.0%，显著优于全上下文逆模型的47.0%和仅基于演示训练的局部模型的21.5%。

🎯 应用场景

OPENWAM框架在机器人控制、视频理解和动态建模等领域具有广泛的应用潜力。其标准化的设计可以帮助研究人员更好地比较不同的世界-动作模型，并推动因果学习和动态建模的研究进展，未来可能在智能机器人、自动驾驶和人机交互等领域发挥重要作用。

📄 摘要（原文）

World-action models (WAMs) couple future prediction with robot control, yet existing systems often vary the video backbone, interaction structure, supervision, and inference procedure simultaneously, making their design choices difficult to compare. We introduce OPENWAM, an open world-action modeling framework built around a common causal robot-video foundation and configurable video-action interaction. Starting from Wan2.2-5B, we perform causal robot-video pretraining on over 10,000 hours of video, then integrate an action expert through a shared Mixture-of-Transformers architecture that supports joint, video-then-action, action-then-video, and decoupled generation. OPENWAM achieves high success rates on four LIBERO suites and real-world bimanual tasks; robot-video training with causal adaptation improves VTA success on LIBERO-Long from 68.4% to 97.8%. The same configurable architecture naturally extends to inverse and forward dynamics, allowing us to study how counterfactual transitions improve independently trained dynamics models beyond demonstrations alone. When only the video predictor is adapted to a new task, a frozen local-context inverse dynamics model trained on counterfactual data and demonstrations achieves 84.0% mean success across four held-out LIBERO-90 tasks, compared with 47.0% for a full-context inverse model and 21.5% for a local-context model trained only on demonstrations. For forward dynamics, counterfactual supervision reduces RGB prediction error by 34.5% and raises outcome identification from 21.1% to 71.3% among 16 same-state outcomes. OPENWAM provides a common testbed for comparing WAM interaction designs and for studying dynamics learning from video data beyond successful demonstrations.