MVG-WAM: Multiple View Geometry-Aware World-Action Modeling for Robotic Manipulation

📄 arXiv: 2609.37793v1 📥 PDF

作者: Wenbo Chen, Tianfu Li, Haoxuan Xu, Zhihao Cao, Zhenghan Chen, Zhengming Zhu, Zizhou Luo, Guosheng Yang, Yuan Liu, Lujia Wang, Wen Chen, Haoang Li

分类: cs.RO

发布日期: 2026-09-29

备注: Project page: https://bobc-123.github.io/MVG-WAM/

💡 一句话要点

提出MVG-WAM以解决多视角几何关系不足的问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 多视角几何 机器人操作 世界-动作模型 动作预测 视觉动态

📋 核心要点

  1. 现有的世界-动作模型在处理多视角图像时，几何关系往往隐含，难以有效连接全局场景与局部几何。
  2. MVG-WAM通过将观察结果视为一个物理世界的相关投影，结合全局状态与视图索引几何状态，提升了动作预测的准确性。
  3. 在多个基准测试中，MVG-WAM展现出优异的性能，尤其在实际操作任务中也取得了显著的成功率。

📝 摘要（中文）

世界-动作模型（WAMs）将视觉动态与动作预测结合，利用预训练视频模型的丰富先验知识来提升机器人操作能力。然而，现有的多视角接口通常将图像拼接或连接令几何关系隐含，难以将全局场景上下文与局部几何有效连接。为此，本文提出了多视角几何感知世界-动作模型（MVG-WAM），将观察结果组织为一个物理世界的相关投影，而非单独的图像。该模型结合了受视差约束的全局状态与从同步观察中共同推断的视图索引几何状态，通过相机感知路由为每个视频区域提供相应的几何上下文和共享的全局状态，明确构建用于动作预测的表示。实验结果表明，MVG-WAM在LIBERO和RoboTwin 2.0基准上分别达到了99.1%和92.07%的成功率，并在Cobot Magic的实际实验中实现了91.3%的成功率，涵盖150次试验和三项操作任务。

🔬 方法详解

问题定义：本文旨在解决现有世界-动作模型在多视角图像处理中的几何关系隐含问题，导致全局场景上下文与局部几何难以有效连接。

核心思路：MVG-WAM的核心思路是将多个视角的观察结果视为一个物理世界的相关投影，通过结合全局状态与视图索引几何状态来增强动作预测的准确性。

技术框架：该模型的整体架构包括多个模块，首先是全局状态的推断，其次是从同步观察中推断的几何状态，最后通过相机感知路由将几何上下文与视频区域相结合。

关键创新：MVG-WAM的主要创新在于引入了受视差约束的全局状态与视图索引几何状态的联合推断，明确了动作预测所需的几何关系，区别于传统方法的隐含处理。

关键设计：在设计上，MVG-WAM采用了多视角几何感知的结构，通过多层次的深度监督来实现度量尺度的基础上，避免了在动作展开过程中进行深度解码的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MVG-WAM在LIBERO和RoboTwin 2.0基准测试中分别取得了99.1%和92.07%的成功率，显示出其在多视角几何感知方面的优势。此外，在Cobot Magic的实际操作中，模型在150次试验中实现了91.3%的成功率，验证了其在真实环境中的有效性。

🎯 应用场景

MVG-WAM的研究成果在机器人操作、自动化生产线以及人机交互等领域具有广泛的应用潜力。通过提升机器人在复杂环境中的操作能力，该模型能够有效支持智能制造和服务机器人等实际应用，推动相关技术的发展与普及。

📄 摘要（原文）

World-Action Models (WAMs) couple visual dynamics with action prediction, bringing the rich priors of pretrained video models to robotic manipulation. However, their multi-view interfaces typically tile images or concatenate tokens, leaving the geometric relationships among synchronized cameras implicit. This makes it harder to connect global scene context with the local geometry required for interaction. We introduce the Multi-View Geometry-Aware World-Action Model (MVG-WAM), which organizes these observations as related projections of one physical world rather than separate images on a canvas. Our model combines an epipolar-constrained global state with view-indexed geometric states jointly inferred from synchronized observations. Camera-aware routing supplies each video region with its corresponding geometric context and the shared global state, explicitly structuring the representation used for action prediction. We further ground the geometry-aware representation in metric scale through multi-horizon future-depth supervision, without requiring depth decoding during action rollout. MVG-WAM achieves average success rates of 99.1% on LIBERO and 92.07% on RoboTwin 2.0, demonstrating competitive performance across both benchmarks. Real-world experiments on Cobot Magic further demonstrate a 91.3% success rate across 150 trials spanning three manipulation tasks.