What Visual Representations Do World Action Models Need?

📄 arXiv: 2610.13024v1 📥 PDF

作者: Kai Liu, Jiangran Lyu, Tingyu Deng, Yixin Zheng, Jingtian Wan, Wenbo Cui, Mi Yan, Yizhou Zhou, Haoran Li, Dongbin Zhao, Zhizheng Zhang, He Wang

分类: cs.CV, cs.RO

发布日期: 2026-10-09

备注: 24 pages. Project page: https://kailiu18.github.io/R-2WAM.github.io/

💡 一句话要点

提出R$^2$-WAM以优化世界行动模型的视觉表示

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉表示 世界行动模型 变分自编码器 通道联合预测 机器人操作 自动化系统 特征组合

📋 核心要点

  1. 现有的世界行动模型在视觉操作方面存在不足，主要依赖于优化视觉重建的VAE表示。
  2. 本文提出了一种新的表示配方R$^2$-WAM，通过系统比较不同视觉表示和集成机制，优化操作性能。
  3. 实验结果表明，R$^2$-WAM在多个任务上超越了VAE基线，显示出强通用视觉表示的优势。

📝 摘要（中文）

世界行动模型（WAMs）从预训练的视频生成模型中继承了强大的先验知识，但其变分自编码器（VAE）表示主要优化于视觉重建而非操作。外部视觉表示可以改善操作性能，但现有方法将表示选择与不同的集成机制耦合，模糊了它们的单独效果。本文系统比较了视觉表示、五种集成机制和特征组合，得出三项主要发现：强通用视觉表示提供更广泛的鲁棒性提升，通道联合预测实现了最高的成功率，额外信息源应根据其对任务相关信息的贡献进行选择。最终，提出的R$^2$-WAM在RoboCasa GR1 Tabletop上取得84.7%的成功率，在RoboTwin 2.0上达到92.8%，相较于VAE基线分别提升了5.9和2.2个百分点。

🔬 方法详解

问题定义：本文旨在解决现有世界行动模型在视觉操作中的不足，尤其是VAE表示优化于视觉重建而非操作的问题。

核心思路：通过系统比较不同的视觉表示和集成机制，提出R$^2$-WAM，以优化操作性能并明确各个因素的独立影响。

技术框架：整体架构包括视觉表示的选择、集成机制的设计和特征组合的优化，主要模块包括强通用视觉表示、通道联合预测和任务相关信息的选择。

关键创新：最重要的创新在于提出了通道联合预测机制，显著提升了操作成功率，并强调了强通用视觉表示的优势。

关键设计：在参数设置上，选择了适合的损失函数和网络结构，确保了视觉表示的有效集成与优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

R$^2$-WAM在RoboCasa GR1 Tabletop上实现了84.7%的成功率，在RoboTwin 2.0上达到92.8%，相较于VAE基线分别提升了5.9和2.2个百分点，显示出显著的性能改进。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化系统和智能家居等场景，能够显著提升机器人的操作能力和灵活性。未来，R$^2$-WAM的设计理念可推广至其他领域的视觉任务，推动智能系统的进一步发展。

📄 摘要（原文）

World Action Models (WAMs) inherit powerful priors from pretrained video generation models, but their variational autoencoder (VAE) representations are optimized for visual reconstruction rather than manipulation. External visual representations can improve manipulation, but existing methods couple representation choices with different integration mechanisms, obscuring their individual effects. We systematically compare visual representations, five integration mechanisms, and feature combinations under controlled settings. Our study yields three main findings. First, strong general-purpose visual representations provide broader robustness gains and can match or outperform representations pretrained for specific visual capabilities. Second, channel-wise joint prediction achieves the highest average success rate; further analyses suggest that future-feature prediction and the action expert's effective use of added visual information contribute to its gains. Third, additional sources should be selected for the task-relevant information they contribute beyond existing representations, as the same source can help one combination but harm another. However, even the best evaluated composition provides a smaller additional gain than the initial improvement from adding a strong general-purpose representation to the VAE-only baseline. We instantiate the resulting Representation Recipe as R$^2$-WAM. It achieves state-of-the-art performance on RoboCasa GR1 Tabletop with an 84.7% success rate and reaches 92.8% on RoboTwin 2.0, improving over the VAE-only baselines by 5.9 and 2.2 percentage points, respectively. Taken together, these findings suggest that future work should prioritize stronger general-purpose visual representations and more effective mechanisms for integrating them into WAMs, with feature composition serving as a supplementary route to improvement.