Latent evolving World Action Model

📄 arXiv: 2609.27455v1 📥 PDF

作者: Xueji Fang, Boqiang Duan, Hua Wu, Jingdong Wang, Guo-Jun Qi

分类: cs.CV, cs.RO

发布日期: 2026-09-23

备注: https://github.com/XuejiFang/LeWAM

💡 一句话要点

提出LeWAM以提高世界动作模型的效率与可扩展性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 世界动作模型 视频扩散模型 动作生成 环境动态建模 JEPA编码器 模仿学习 偏好监督 机器人操作

📋 核心要点

  1. 现有的WAM方法依赖于大型视频生成预训练，导致效率低下和可扩展性差。
  2. 提出LeWAM，通过JEPA嵌入进行动作生成，并预测未来嵌入以建模环境演变，避免了对视频扩散骨干的依赖。
  3. LeWAM在RoboTwin 2.0上以0.4B参数实现92.28%的成功率，表现与现有最先进方法相当，且在真实世界操作任务中有效。

📝 摘要（中文）

世界动作模型（WAMs）联合建模动作生成和环境动态，主要依赖于预训练的视频扩散模型（VDMs）。然而，这种方法将WAM的性能和训练成本与大规模视频生成预训练紧密相连，限制了其效率和可扩展性。本文理论和实证研究了视觉表征如何影响WAM中的动作生成，发现联合嵌入预测架构（JEPA）编码器的预测嵌入在动作生成中表现优于压缩的VAE潜变量。基于此，提出了LeWAM，利用JEPA嵌入条件化动作生成，并通过预测未来嵌入建模环境演变，避免依赖视频扩散骨干网络。实验表明，LeWAM在RoboTwin 2.0上以0.4B可训练参数实现92.28%的平均成功率，表现与最先进的VLA和WAM相当。

🔬 方法详解

问题定义：本文旨在解决现有世界动作模型（WAMs）在效率和可扩展性方面的不足，特别是其对大规模视频生成预训练的依赖。

核心思路：论文提出LeWAM，通过使用JEPA编码器生成的预测嵌入来条件化动作生成，并通过预测未来嵌入来建模环境演变，从而避免了对视频扩散骨干网络的依赖。

技术框架：LeWAM的整体架构包括JEPA编码器、动作生成模块和环境演变预测模块。JEPA编码器负责生成高效的视觉表征，动作生成模块基于这些表征生成动作，而环境演变模块则预测未来的嵌入。

关键创新：LeWAM的主要创新在于使用JEPA嵌入替代传统的VAE潜变量，显著提升了动作生成的效果，并且通过预测未来嵌入来建模环境演变，突破了传统方法的局限。

关键设计：在设计上，LeWAM使用了0.4B的可训练参数，采用了特定的损失函数来优化动作生成的准确性，并确保了模型在真实世界操作任务中的有效性。通过这种设计，LeWAM在保持较小模型规模的同时，实现了高成功率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LeWAM在RoboTwin 2.0上实现了92.28%的平均成功率，表现与最先进的视觉语言模型（VLA）和世界动作模型（WAM）相当，且仅使用0.4B的可训练参数，展示了显著的效率和效果提升。

🎯 应用场景

LeWAM的研究成果在机器人操作、自动化控制和智能交互等领域具有广泛的应用潜力。其高效的动作生成和环境建模能力能够提升机器人在复杂环境中的自主决策能力，推动智能系统的实际应用和发展。

📄 摘要（原文）

World Action Models (WAMs) jointly model action generation and environment dynamics and are mostly built on pretrained Video Diffusion Models (VDMs). In VDM-based WAMs, observations are first encoded by a VAE, and the resulting compressed latents are then processed by large video diffusion backbones to extract effective features for action generation. However, this paradigm ties WAM performance and training cost to large-scale video generation pretraining, limiting WAM efficiency and scalability. In this paper, we theoretically and empirically investigate how visual representations affect action generation in WAMs. Our results show that predictive embeddings from Joint-Embedding Predictive Architecture (JEPA) encoders better support action generation than compressed VAE latents, with I-JEPA performing best in our encoder comparison. Based on these findings, we propose LeWAM, which conditions action generation on JEPA embeddings and models environment evolution by predicting future embeddings in the same space, without relying on a video diffusion backbone. We further find that imitation learning matches demonstrated actions but does not distinguish better actions from worse ones, even though small action deviations can greatly affect task success. To address this limitation without additional environment interaction or the human oversight required for resets and safety, we introduce Demonstration-Guided DPO (DemoDPO), an offline preference refinement stage that derives preference supervision directly from demonstrations.With only 0.4B trainable parameters, LeWAM achieves an average success rate of 92.28\% on RoboTwin 2.0, comparable to that of state-of-the-art VLAs and WAMs, and maintains practical effectiveness on real-world manipulation tasks.