From World Models to World Action Models: Rethinking Next-State Prediction

📄 arXiv: 2609.34414v1 📥 PDF

作者: Tingyu Yuan, Ziming Ji, Biaoliang Guan, Wen Ye, Wenrui Tian, Zhaopeng Gu, Feihong Zhang, Xu Yang, Yan Huang, Zhaowen Li, Chaoyang Zhao, Jinqiao Wang

分类: cs.RO

发布日期: 2026-09-28

💡 一句话要点

提出CF-WAM以解决动态状态预测的限制问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting)

关键词: 动态状态预测 世界模型 跨模态学习 机器人学习 人机交互

📋 核心要点

  1. 现有方法在训练前固定下一个状态，限制了行动学习的灵活性和泛化能力。
  2. CF-WAM通过动态采样多种投影，标准化为视频形式，促进了统一的世界-行动模型学习。
  3. CF-WAM在RoboCasa-GR1上达到了82.50%的成功率，LIBERO-Plus上为82.65%，在真实世界评估中最高可达84.00%。

📝 摘要（中文）

预测下一个状态是世界模型中建模物理动态的核心范式，强调预测的准确性。随着世界模型演变为世界-行动模型（WAM），现有方法在训练前固定下一个状态为RGB、单一潜在特征或预定义目标的静态组合，从而限制了行动学习的归纳偏差。为了解决这一限制，本文提出了CF-WAM，一个动态下一个状态预测框架，通过对同一未来的视觉、语义、几何和交互投影进行采样，将其标准化为统一的视频形式，并在这些投影上监督一个统一的WAM。实验表明，CF-WAM提高了训练效率和最终控制性能，同时有效地将人类经验转化为策略收益。

🔬 方法详解

问题定义：本文旨在解决现有世界模型在下一个状态预测中固定状态所带来的限制，导致行动学习受限于特定表示的归纳偏差。

核心思路：CF-WAM通过动态采样同一未来的多种投影，标准化为统一的视频形式，从而实现跨投影的统一学习，增强了模型对状态转换结构的捕捉能力。

技术框架：CF-WAM的整体架构包括多个模块：首先对未来的视觉、语义、几何和交互投影进行采样，然后将这些投影标准化为视频形式，最后在这些投影上进行统一的WAM学习。

关键创新：CF-WAM的核心创新在于动态状态预测机制，允许模型在训练过程中不断调整和优化状态表示，突破了传统方法的静态限制。

关键设计：在技术细节上，CF-WAM采用了多模态投影的标准化处理，设计了适应不同投影的损失函数，并优化了网络结构以支持高效的跨模态学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CF-WAM在RoboCasa-GR1上实现了82.50%的成功率，LIBERO-Plus上为82.65%，在真实世界评估中最高可达84.00%。这些结果表明，CF-WAM在训练效率和控制性能上均显著优于现有基线，成功将人类经验转化为策略收益。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在机器人学习和人机交互领域。通过实现跨模态的状态学习，CF-WAM可以提升机器人在复杂环境中的适应能力，促进人类与机器人之间的协作与理解，未来可能在智能制造、自动驾驶等领域发挥重要作用。

📄 摘要（原文）

Predicting the next state is a core paradigm of World Models for modeling physical dynamics, emphasizing prediction fidelity. As World Models evolve into World-Action Models (WAMs), existing methods still fix the next state before training as RGB, a single latent feature, or a static combination of predefined targets, thereby constraining action learning to the inductive biases preserved by a particular representation. To address this limitation, we propose CF-WAM, a dynamic next-state prediction framework that samples visual, semantic, geometric, and interaction projections of the same future, standardizes them into a common video form, and supervises a unified WAM across these projections. The action-relevant constraints exposed by these projections accumulate across training steps, forcing WAM to capture the underlying state-transition structure that supports multiple projections of the same action-conditioned future. This dynamic mechanism also provides a natural cross-embodiment dynamics reference frame for Human and Robot learning. By jointly learning across different next-state parameterizations, heterogeneous Human and Robot experience can bypass appearance differences and directly contribute to shared state-transition learning, improving cross-embodiment generalization. Experiments show that CF-WAM improves both training efficiency and final control performance, while translating Human experience effectively into policy gains. CF-WAM achieves state-of-the-art performance on RoboCasa-GR1 with an average success rate of 82.50%, while reaching 82.65% on LIBERO-Plus and up to 84.00% in real-world evaluations.