LeWAM: A JEPA World Action Model with Diffusion-Steering-Based MPC

📄 arXiv: 2610.12407v1 📥 PDF

作者: Shashank Hegde, Alexander Popov, Elie Aljalbout, Nikolai Smolyanskiy

分类: cs.RO, cs.AI, cs.CV

发布日期: 2026-10-08

备注: 14 pages, 6 figures

💡 一句话要点

提出LeWAM以解决世界动作模型中的噪声冗余问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界动作模型 双向变换器 JEPA潜在表示 动态规划 机器人控制

📋 核心要点

  1. 现有的世界动作模型在处理噪声和冗余信息时存在困难，影响了下游任务的预测准确性。
  2. LeWAM通过双向变换器架构，结合JEPA潜在表示，提供了更有效的动作和观察预测能力。
  3. 实验结果显示，LeWAM在闭环评估中与传统策略相当，同时在动态规划中表现出更好的性能。

📝 摘要（中文）

世界动作模型（WAMs）用于预测动作和未来观察，通常基于重建表示，这种表示可能携带噪声和冗余信息，导致下游预测复杂化。本文提出LeWAM，一种双向变换器，能够进行前向、后向、逆动力学和策略预测，并通过无解码器的JEPA潜在表示进行端到端训练。研究表明，LeWAM在对机器人和物体状态的读取上优于常规的Le World Model，并且在闭环评估中表现出与相同编码器训练的流匹配策略相匹配的性能，同时提供了世界模型。通过在WAMs中采样原始动作进行规划，能够利用动态模型的不准确性，从而改善闭环性能。

🔬 方法详解

问题定义：本文旨在解决现有世界动作模型在处理噪声和冗余信息时的不足，导致下游预测复杂化的问题。

核心思路：LeWAM采用双向变换器架构，能够同时进行前向、后向和逆动力学预测，避免了传统重建模型的局限性。

技术框架：LeWAM的整体架构包括四个主要模块：前向预测、后向预测、逆动力学和策略预测，所有模块通过JEPA潜在表示进行端到端训练。

关键创新：LeWAM的核心创新在于其双向变换器设计，使得模型能够更好地对抗视觉干扰，并在状态读取上优于传统模型。

关键设计：在模型设计中，采用了无解码器的JEPA潜在表示，优化了损失函数以提高预测精度，同时在规划阶段引入了动态模型的不确定性处理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LeWAM在闭环评估中与传统流匹配策略的性能相当，同时在动态规划中表现出更好的闭环性能，具体提升幅度未知，显示出其在处理动态模型不准确性方面的优势。

🎯 应用场景

LeWAM的研究成果在机器人控制、自动驾驶和智能制造等领域具有广泛的应用潜力。通过提高动作预测的准确性和鲁棒性，LeWAM能够为复杂环境下的决策提供更可靠的支持，推动智能系统的进一步发展。

📄 摘要（原文）

World action models (WAMs) predict actions and future observations, typically from a reconstruction-based representation that carries noisy, redundant information which can complicate downstream predictions. We introduce LeWAM, a bidirectional transformer for forward, backward, inverse dynamics and policy prediction, on a decoder-free JEPA latent trained end-to-end through all four modes. We see the following benefits: 1) Alignment: linear probes read robot and object state from LeWAM's latent better than from a regular Le World Model (a forward-only JEPA world model), while the latent ignores visual distractors as well as LeWM does and far better than a reconstruction-based WAM. 2) Acting: Closed-loop evaluations of LeWAM match a regular flow-matching policy trained on the same encoder at matched size, while also providing a world model. 3) Planning: Sampling raw actions when planning with WAMs lets MPC exploit dynamics-model inaccuracies; planning in the noise space of the policy head instead improves the closed-loop performance of these WAMs.