MiniWAM: Learning Compact Future Targets for Efficient World-Action Modeling

📄 arXiv: 2610.12194v1 📥 PDF

作者: Jie Chen, Ruofei Bai, Yuxin Cai, Yifeng Zhang, Chengyang He, Jun Li, Wei-Yun Yau, Guillaume Sartoretti

分类: cs.RO

发布日期: 2026-10-08

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出MiniWAM以解决高维目标预测带来的训练成本问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 世界建模 机器人策略 紧凑表示 逆时空建模 高效训练 动作预测 特征重构

📋 核心要点

  1. 现有的世界行动模型在高维空间中预测未来状态，导致训练成本高昂且效率低下。
  2. MiniWAM通过预测紧凑的未来表示，利用特权的当前-未来转变信息，降低了目标的维度。
  3. 实验结果表明，MiniWAM在减少特征标记数量的同时，训练速度提升高达8倍，且在多个基准测试中表现优异。

📝 摘要（中文）

世界建模已成为机器人策略的有效共同训练目标，产生了能够联合预测动作和未来状态的世界行动模型（WAMs）。然而，大多数WAMs在预训练视觉骨干的原生表示空间中预测未来状态，导致高维目标和巨大的训练成本。本文提出MiniWAM，该方法预测从特权当前-未来转变中学习到的紧凑未来表示。为构建这些目标，提出了通过逆时空建模的预测表示（PRISM），结合逆动力学监督与特征重构，强调控制相关的转变信息，同时保留有用的未来状态信息。在冻结学习的PRISM编码器后，MiniWAM被训练以从当前观察中联合预测结果目标和机器人动作。MiniWAM在65倍减少原生未来特征标记的情况下，始终优于使用DINOv3和WAN2.1 VAE特征的原生未来特征预测，同时在世界行动训练中实现高达8倍的加速。MiniWAM在0.25B参数下，已在LIBERO、LIBERO-Plus和RoboTwin 2.0模拟基准上与更大规模的WAMs竞争。表示分析进一步表明，PRISM在行为结构上超越了单纯的特征重构。这些结果表明，有效的世界行动建模并不需要预测原生视觉未来，紧凑的预测表示为策略学习提供了强大且更高效的目标。

🔬 方法详解

问题定义：本文旨在解决现有世界行动模型在高维空间中进行未来状态预测所带来的训练成本高和效率低的问题。现有方法往往依赖于预训练视觉骨干的原生表示，导致目标维度过高。

核心思路：MiniWAM的核心思想是通过预测紧凑的未来表示，结合特权的当前-未来转变信息，从而降低目标的维度并提高训练效率。该方法强调控制相关的转变信息，同时保留重要的未来状态信息。

技术框架：MiniWAM的整体架构包括两个主要模块：首先是PRISM编码器，该编码器通过逆动力学监督和特征重构来学习紧凑的未来表示；其次是MiniWAM模型本身，它在冻结的PRISM编码器基础上，联合预测目标和机器人动作。

关键创新：最重要的技术创新在于提出了PRISM方法，通过逆时空建模来强调控制相关信息，从而与传统的高维目标预测方法形成本质区别。

关键设计：在设计上，MiniWAM使用了65倍减少的原生未来特征标记，并通过特定的损失函数来优化目标预测。此外，网络结构经过精心设计，以确保在较少参数下仍能实现高效的学习。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

MiniWAM在65倍减少原生未来特征标记的情况下，始终优于传统方法，并在训练速度上实现高达8倍的提升。在多个基准测试中，MiniWAM的表现与更大规模的WAMs相当，显示出其在效率和效果上的显著优势。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、智能制造等。通过提高世界行动建模的效率，MiniWAM能够在实时决策和动态环境中提供更快速的响应，具有重要的实际价值和未来影响。

📄 摘要（原文）

World modeling has emerged as an effective co-training objective for robot policies, giving rise to World Action Models (WAMs) that jointly predict actions and future states. However, most WAMs predict future states in the native representation space of pretrained visual backbones, resulting in high-dimensional targets with substantial training cost. We introduce MiniWAM, which instead predicts compact future representations learned from privileged current-future transitions. To construct these targets, we propose Predictive Representations via Inverse Spatiotemporal Modeling (PRISM), which combines inverse-dynamics supervision with feature reconstruction to emphasize control-relevant transition information while preserving useful future-state information. With the learned PRISM encoder frozen, MiniWAM is trained to jointly predict the resulting targets and robot actions from current observations. With 65$\times$ fewer native future feature tokens, MiniWAM consistently outperforms native future-feature prediction with both DINOv3 and WAN2.1 VAE features, while achieving up to an 8$\times$ speedup in world-action training. At 0.25B parameters, MiniWAM is already competitive with substantially larger WAMs on LIBERO, LIBERO-Plus, and RoboTwin 2.0 simulation benchmarks. Representation analyses further show that PRISM contributes behavioral structure beyond feature reconstruction alone. These results demonstrate that effective world-action modeling does not require predicting native visual futures, and that compact predictive representations provide a strong and substantially more efficient target for policy learning. The project page is available at: https://j1dan.github.io/MiniWAM.