PrismWAM: Decoupling State Representations in World Action Models

📄 arXiv: 2610.26564v1 📥 PDF

作者: Tianyu Xin, Wanqi Zhong, Bowen Hu, Zhangchi Guo, Lijie Wang, Yiming Wang, Haoran Liao, Heyang Yu, Xiaoyu Tian, Zhiding Yu, Yiming Li

分类: cs.CV

发布日期: 2026-10-19

备注: Project Page: https://prism-wam.github.io/

💡 一句话要点

提出PrismWAM以解决世界动作模型中的状态表示耦合问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界动作模型 状态表示 语义规划 物理演绎 机器人操控 深度学习 智能体决策

📋 核心要点

  1. 现有的世界动作模型将世界的外观与其物理状态混合在一起，导致状态表示不清晰，难以有效建模。
  2. PrismWAM通过将物理状态与语义状态解耦，提出了一种新的建模框架，强调如何通过动作影响世界的演变。
  3. 实验结果显示，PrismWAM在模拟和现实环境中均表现优异，超越了多种大型预训练模型，展示了其强大的操控能力。

📝 摘要（中文）

世界动作模型（WAMs）通常通过预训练视频模型的潜在嵌入来表示世界，这种方法将世界的不同方面（如外观和物理配置）混合在一起。本文提出PrismWAM，旨在将物理状态与语义状态解耦，同时联合建模状态和动作。PrismWAM将一个具体任务分解为语义规划、物理演绎和可执行动作生成的流程。该方法在没有任何先前的动作预训练或额外数据增强的情况下，在模拟和现实世界中均表现出色，甚至超越了多种大型预训练模型。更广泛地说，PrismWAM重新定义了世界动作模型的目标，从建模世界的外观转向建模世界对动作的响应。

🔬 方法详解

问题定义：本文旨在解决现有世界动作模型在状态表示上混合物理和语义信息的问题，导致模型在理解和预测世界演变时的局限性。

核心思路：PrismWAM的核心思想是将世界的外观（语义）与其物理演变过程解耦，分别进行建模，从而提高模型的表现和理解能力。

技术框架：PrismWAM的整体架构分为三个主要模块：语义规划、物理演绎和可执行动作生成。首先，语义规划模块根据初始RGB观察预测最终目标图像；接着，物理演绎模块在深度空间中预测向目标的细致演变；最后，从深度演绎中生成可执行的动作。

关键创新：PrismWAM的主要创新在于其解耦的状态表示方法，强调了物理状态与语义状态的分离，这与传统模型的混合表示形成鲜明对比。

关键设计：在设计中，PrismWAM没有依赖任何先前的动作预训练或数据增强，利用初始观察直接进行学习，展示了其在多种环境下的强大适应性和操控能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，PrismWAM在模拟和现实世界中的操控性能显著优于多种大型预训练模型，如OpenWAM-α，展示了其在没有额外数据增强的情况下的强大能力，具体性能提升幅度未知。

🎯 应用场景

PrismWAM的研究成果在机器人操控、自动驾驶、虚拟现实等领域具有广泛的应用潜力。通过更准确的状态表示和动作预测，该方法可以提升智能体在复杂环境中的决策能力和执行效率，推动相关技术的发展与应用。

📄 摘要（原文）

World Action Models (WAMs) typically represent the world through latent embeddings from pretrained video models, which entangle heterogeneous aspects of the world, from how it looks (e.g., texture and color) to how it is physically configured (e.g., occupancy and pose). This raises an underexplored question: $\textbf{what should constitute the state of a WAM?}$ We argue that the world state should separate how the world appears from how the world evolves under action: the former captures semantic context, while the latter is governed by physical state. To this end, we propose $\textbf{PrismWAM}$, which decouples physics from semantics while jointly modeling state and action. PrismWAM factorizes an embodied task into a $\mathrm{Semantic\ Planning}\rightarrow\mathrm{Physical\ Rollout}\rightarrow\mathrm{Executable\ Action}$ pipeline: given only the initial RGB observation, semantic planning learns to predict the final goal image, while physical rollout predicts the fine-grained evolution toward this goal in depth space; executable actions are then generated from the depth rollout. Without any embodied action pretraining or additional data augmentation, PrismWAM achieves strong manipulation performance in both simulation and the real world. Notably, PrismWAM even surpasses a broad range of models with large-scale embodied action pretraining (e.g., OpenWAM-$α$). More broadly, we reframe World Action Models from modeling how the world looks to how it responds to action, paving the way for action-centric world models grounded in occupancy, flow, tactile sensing, proprioception, and beyond.