Rethinking Representations for World-Action Modeling

📄 arXiv: 2609.38163v1 📥 PDF

作者: Haoyi Jiang, Liu Liu, Xinjiang Wang, Zhihao Sun, Zequn Chen, Sen Wang, Xinjie Wang, Xia Chen, Jingfeng Yao, Weiheng Zhao, Shanglin Yuan, Zhizhong Su, Wei Sui, Wenyu Liu, Xinggang Wang

分类: cs.CV, cs.RO

发布日期: 2026-09-29

备注: https://github.com/hustvl/ReWAM

💡 一句话要点

提出ReWAM以解决世界-动作建模中的表示问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界-动作模型 机器人策略 动态建模 特征校准 动作引导 预训练特征 机器学习 智能机器人

📋 核心要点

  1. 现有的世界-动作模型在策略学习和未来观察预测之间的表示设计存在不足，无法有效整合重建精度和感知特征。
  2. 论文提出ReWAM，通过特征校准和时间表示瓶颈优化表示空间，使其更适合动态建模，并通过动作引导的表示塑造提升策略学习效果。
  3. 实验结果显示，ReWAM在RoboTwin 2.0上取得93.6%的成功率，并在RoboDojo上实现平均得分12.29，成功率为8.28%，显著提升了模型性能。

📝 摘要（中文）

世界-动作模型共同学习机器人策略并预测未来观察，使表示空间成为控制与预测之间的接口。通过对比研究，发现单靠重建精度或预训练感知特征无法确保有效的策略学习。这些发现促使我们提出ReWAM，一个基于预训练DINO特征的以表示为中心的世界-动作模型。特征校准和时间表示瓶颈将这些特征组织成适合动态建模的紧凑世界状态。动作引导的表示塑造仅将动作损失梯度传递到瓶颈，从而让策略塑造表示编码内容，而世界模型学习其演变。ReWAM在没有生成视频预训练的情况下，在RoboTwin 2.0上取得93.6%的成功率，在RoboDojo上平均得分12.29，成功率为8.28%，使用了约600小时的具身预训练数据。

🔬 方法详解

问题定义：本论文旨在解决世界-动作模型中表示空间设计的问题，现有方法在重建精度和预训练特征的整合上存在不足，导致策略学习效果不佳。

核心思路：提出ReWAM模型，基于预训练DINO特征，通过特征校准和时间表示瓶颈优化表示空间，使其更适合动态建模，同时通过动作引导的表示塑造提升策略学习的有效性。

技术框架：ReWAM的整体架构包括特征提取模块（基于DINO特征）、特征校准模块、时间表示瓶颈模块和动作引导的表示塑造模块，形成一个闭环的学习系统。

关键创新：ReWAM的主要创新在于引入了动作引导的表示塑造机制，使得策略能够主动影响表示的编码内容，从而提升了模型的学习能力和预测准确性。

关键设计：在模型设计中，特征校准和时间表示瓶颈的设置至关重要，确保了特征的紧凑性和适应性，同时损失函数的设计也专注于优化动作损失的梯度传递。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

ReWAM在RoboTwin 2.0上实现了93.6%的成功率，且在RoboDojo上平均得分12.29，成功率为8.28%。这些结果表明，ReWAM在没有生成视频预训练的情况下，显著提升了模型的学习效率和预测性能。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、智能制造等，能够有效提升机器人在复杂环境中的决策能力和预测能力。未来，ReWAM可能推动更高效的机器人学习系统的发展，促进智能机器人在实际应用中的普及。

📄 摘要（原文）

World-action models jointly learn robot policies and predict future observations, making the representation space an interface between control and prediction. We study the design of this space through controlled comparisons, finding that neither reconstruction fidelity nor pre-trained perceptual features alone ensure effective policy learning. These findings motivate ReWAM, a representation-centric world-action model built on pre-trained DINO features. Feature Calibration and a Temporal Representation Bottleneck organize these features into compact world states suited to dynamics modeling. Action-Grounded Representation Shaping routes only action-loss gradients to the bottleneck, thereby letting the policy shape what the representation encodes while the world model learns how it evolves. Without generative video pre-training, ReWAM achieves 93.6% success on RoboTwin 2.0. On RoboDojo, it achieves an average score of 12.29 and a success rate of 8.28% using approximately 600 hours of embodied pre-training data.