MM-ABC: Towards Generalist Mobile Manipulation via Seeing, Coordinating and Imagining

📄 arXiv: 2609.35652v1 📥 PDF

作者: Qiwei Liang, Guangyu Chen, Shaolong Zhu, Zikuan Xiao, Jinxuan Lu, Yifan Xie, Renjing Xu, Wenbo Ding, Tianxing Chen

分类: cs.RO

发布日期: 2026-09-28

备注: Webpage: https://mm-abc.github.io/

💡 一句话要点

提出MM-ABC以解决移动操控中的感知与协调问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 移动操控 空间感知 跨流协作 视觉语言模型 机器人学习 任务成功率 未来监督

📋 核心要点

  1. 现有移动操控方法在空间感知和协调控制方面存在不足，常常将移动性和操控性分开处理，导致效率低下。
  2. MM-ABC通过视觉、协调和想象的臂基协作来解决上述问题，强调跨流协作的重要性，提升整体性能。
  3. 在多个实验中，MM-ABC在EBench、RoboCasa365等任务上取得了显著的成功率，验证了其有效性。

📝 摘要（中文）

移动操控将机器人交互扩展至可控的可达区域，带来了空间感知和协调控制的挑战。现有方法往往将移动性和操控性分开处理，缺乏有效的跨流协作。本文提出MM-ABC，一个基于视觉、协调和想象的臂基协作基础模型，通过稀疏多级视觉语言模型特征增强空间感知，并引入未来分支以利用世界想象和几何意图作为额外监督，提升感知和操控意图预测。实验结果表明，MM-ABC在多个基准任务上表现优异，成功率显著提高。

🔬 方法详解

问题定义：本文旨在解决移动操控中空间感知和协调控制的挑战。现有方法通常将移动性和操控性分开处理，缺乏有效的跨流协作，导致性能不足。

核心思路：MM-ABC的核心思想是通过结合视觉、协调和想象来实现臂基协作，强调在移动操控中跨流协作的重要性，以提高整体学习信号和任务成功率。

技术框架：MM-ABC的整体架构包括多个模块：稀疏多级视觉语言模型特征用于空间感知，一个训练专用的未来分支用于世界想象和几何意图的额外监督，以及MM-APT模块用于协调操控和移动流。

关键创新：最重要的创新在于引入了未来监督和多级条件，以增强感知和操控意图的预测能力，同时通过掩蔽联合注意力和清晰动作预测来协调不同的动作流。

关键设计：在设计中，采用了清晰动作预测和速度预测的对比实验，发现清晰动作预测显著提高了任务成功率。此外，模型在5000小时的异构机器人数据上进行了预训练，涵盖了多个数据集和任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MM-ABC在多个基准任务中表现出色，EBench任务成功率达到44.71%，RoboCasa365成功率为61.2%，LIBERO和LIBERO-Plus分别为99.1%和82.8%。这些结果表明，MM-ABC在移动操控领域的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、工业自动化和家庭助理等场景。通过提升机器人在动态环境中的操控能力，MM-ABC能够在复杂任务中实现更高效的操作，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Mobile manipulation extends robot interaction beyond a fixed kinematic workspace by making the reachable region itself controllable. This flexibility introduces two central challenges: spatially grounded perception under continuous ego-motion and coordinated control of heterogeneous arm and base actions. Existing approaches strengthen geometry through explicit 3D representations or predictive world models, and often decouple mobility and manipulation into separate action streams. We argue that effective mobile manipulation requires not only decoupling, but also representations that support efficient cross-stream collaboration. We present MM-ABC, a foundation model built around Seeing, Coordinating, and Imagining Arm-Base Collaboration. MM-ABC combines sparse multi-level VLM features for spatial perception; a training-only future branch that uses world imagination and geometric intent as extra supervision, strengthening perception and manipulation-intent prediction and improving the overall learning signal; and MM-APT, which coordinates separate manipulation and mobility streams through masked joint attention and clean-action x-prediction. In controlled ablations, replacing clean-action prediction with velocity prediction lowers success on RoboCasa365 composite-seen tasks from 32.8% to 29.2%, and removing future supervision or multilevel conditioning causes larger drops. We pretrain MM-ABC on 5,000+ hours of heterogeneous robot data spanning 400K+ episodes, 12 datasets, and 17 embodiments. Experiments cover EBench, RoboCasa365, ManiSkill-HAB, LIBERO, LIBERO-Plus, and real-world mobile manipulation. MM-ABC achieves 44.71% success on EBench, 61.2% on RoboCasa365, 99.1% on LIBERO, 82.8% on LIBERO-Plus without perturbation training, and 83% mean success on five real-world tasks.