UniWAM Technical Report: Unified Mobile Manipulation via Mixed-Stream World-Action Modeling and Manipulation Anchor Pose Supervision

📄 arXiv: 2609.39388v1 📥 PDF

作者: Wei Xue, Keliang Liu, Mingzhang Cui, Jinhua Xie, Jinjie Wei, Jianan Hou, Jingcheng Lu, Lintao Wang, Kaixiang Qiu, Yizhou Liu, Xinghai Ye, Jinghang Han, Mingcheng Li, Jie Gu, Shunli Wang, Lihua Zhang, Dingkang Yang

分类: cs.RO, cs.CV

发布日期: 2026-09-30

备注: UniWAM Technical Report

💡 一句话要点

提出UniWAM以解决移动操作中的导航与操控问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 移动操作 导航 操控 混合流模型 深度学习 机器人技术 数据集构建

📋 核心要点

  1. 现有方法在移动操作中难以统一处理导航与操控，导致策略学习复杂且效率低下。
  2. UniWAM通过混合流世界-动作模型设计，独立处理导航和操控任务，支持联合表示学习。
  3. 在大规模MAP数据的支持下，UniWAM在多个任务中显著提升了导航和操控的准确性。

📝 摘要（中文）

移动操作需要精确导航到准备操控的姿态，并进行可靠的物体交互。这两个阶段在动作空间和视觉需求上存在差异，导致统一策略学习变得复杂。此外，收集多样的真实世界导航数据并进行明确的操控准备姿态监督既昂贵又难以扩展。本文提出了UniWAM，一个统一的混合流世界-动作模型，具有独立的导航和操控动作编码器和输出头，且共享一个公共骨干网络。该设计支持在独立采样的导航和操控数据上进行联合表示学习。UniWAM支持独立推理和批量并行推理。我们进一步引入了操控锚点姿态（MAP）监督，指导何时停止和如何定向进行操控。通过自动化管道从大规模3D场景构建MAP数据，生成超过150万集和7500小时的数据。MAP数据提供每帧目标物体的边界框和图像平面MAP坐标作为辅助导航监督。结合操控的末端执行器轨迹，这些预测目标为基于自我中心观察的动作学习提供了流特定的图像平面监督。利用大规模MAP数据，UniWAM在MAP-Bench上相较于最强的外部基线在位置误差上提升了30.1%，在航向误差上提升了44.0%。在24个真实机器人任务中，UniWAM在MAP导航和移动操控中取得了领先的结果，操控性能也具竞争力。

🔬 方法详解

问题定义：本文旨在解决移动操作中导航与操控的统一策略学习问题。现有方法在这两个阶段的动作空间和视觉需求上存在显著差异，导致学习效率低下和数据收集困难。

核心思路：UniWAM的核心思路是通过混合流模型设计，分别为导航和操控任务构建独立的动作编码器和输出头，同时共享一个公共的骨干网络。这种设计允许在独立采样的导航和操控数据上进行联合表示学习，提升了模型的灵活性和效率。

技术框架：UniWAM的整体架构包括导航流和操控流两个主要模块，采用独立的编码器和输出头。通过引入操控锚点姿态（MAP）监督，模型能够更好地指导操控过程。数据收集通过自动化管道完成，生成大规模的MAP数据集。

关键创新：UniWAM的主要创新在于引入了MAP监督机制，提供了明确的操控目标和姿态指导。这一机制使得模型在处理复杂的移动操作任务时，能够更准确地进行导航和操控。

关键设计：在模型设计中，采用了共享骨干网络以减少计算开销，同时在损失函数中引入了针对导航和操控的流特定监督。此外，MAP数据集的构建过程确保了数据的多样性和丰富性，支持了模型的训练和评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，UniWAM在MAP-Bench上相较于最强的外部基线在位置误差上提升了30.1%，在航向误差上提升了44.0%。此外，在24个真实机器人任务中，UniWAM在MAP导航和移动操控中均取得了领先的结果，显示出其强大的性能和适用性。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、自动驾驶车辆和工业自动化等。通过提升移动操作的导航与操控能力，UniWAM能够在复杂环境中实现更高效的任务执行，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Mobile manipulation requires precise navigation to a manipulation-ready pose followed by reliable object interaction. These two stages differ in action spaces and visual requirements, which complicates unified policy learning. In addition, collecting diverse real-world navigation data with explicit manipulation-ready pose supervision remains costly and difficult to scale. We introduce UniWAM, a unified mixed-stream world-action model with separate action encoders and output heads for navigation and manipulation, sharing a common backbone. This design supports joint representation learning on independently sampled navigation and manipulation data. UniWAM supports independent inference for either stream and batch-parallel inference for both. We further introduce Manipulation Anchor Pose (MAP) supervision for where to stop and how to orient for manipulation. An automated pipeline constructs MAP-Data from large-scale 3D scenes, yielding over 1.5 million episodes and 7,500 hours. MAP-Data provides per-frame target-object bounding boxes and image-plane MAP coordinates as auxiliary navigation supervision. Together with projected end-effector trajectories for manipulation, these prediction targets provide stream-specific image-plane supervision for action learning from egocentric observations. With large-scale MAP-Data, UniWAM outperforms the strongest external baselines on our MAP-Bench by 30.1\% in position error and 44.0\% in heading error. Across 24 real-robot tasks, UniWAM achieves leading results in MAP navigation and mobile manipulation, with competitive manipulation performance. We have released code, data, and benchmark.