MAVP: Map-Aware Visuomotor Policies for Mobile Manipulation

📄 arXiv: 2609.26378v1 📥 PDF

作者: Jinhe Tang, Ruixiao Dai, Weiming Zhi

分类: cs.RO, cs.AI, cs.CV, cs.LG

发布日期: 2026-09-22

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出MAVP框架以解决移动操控中的空间对齐问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 移动操控 空间对齐 机器人学习 策略优化 地图重建 鲁棒性提升

📋 核心要点

  1. 现有的基于示范的移动操控策略在底盘运动的可靠性上存在不足，导致空间错位和操控失败。
  2. MAVP框架通过重建静态地图和在共享地图框架中表达示范轨迹，提供一致的空间监督，从而提高执行的可靠性。
  3. 在六个真实世界的操控任务中，MAVP在所有任务中均实现了比未锚定速度控制更高的任务成功率。

📝 摘要（中文）

成功的移动操控需要协调底盘和机械臂的运动，同时保持准确的空间定位。然而，基于示范训练的策略在实现预期底盘运动时常常存在不可靠性，导致空间错位和操控失败。本文提出了MAVP（Map-Aware Visuomotor Policies）框架，通过预测明确的底盘目标姿态并利用定位反馈进行跟踪，从而提高执行的可靠性。MAVP从遥控示范中重建静态地图，并在共享地图框架中表达示范的底盘轨迹，为示范提供一致的空间监督。在执行时，策略接收RGB观测、关节状态和机器人当前的地图框架底盘姿态，并联合预测目标底盘姿态、机械臂动作和夹持器动作。低级控制器通过前馈运动和姿态误差反馈跟踪预测的底盘目标，能够纠正执行偏差。通过在训练过程中使用姿态噪声增强，提升了策略对输入姿态错误的鲁棒性。

🔬 方法详解

问题定义：本文旨在解决移动操控中底盘运动与机械臂动作的协调性问题，现有方法在实现底盘运动时常出现不可靠性，导致空间错位和操控失败。

核心思路：MAVP框架通过重建静态地图并在共享地图框架中表达示范轨迹，提供一致的空间监督，进而提高执行的可靠性。该设计使得策略能够在执行时更好地理解和利用环境信息。

技术框架：MAVP的整体架构包括三个主要模块：地图重建模块、策略预测模块和低级控制器。地图重建模块从遥控示范中生成静态地图，策略预测模块接收RGB观测和关节状态，预测目标底盘姿态和机械臂动作，低级控制器则负责跟踪预测的底盘目标。

关键创新：MAVP的核心创新在于通过地图框架提供一致的空间监督，解决了传统方法中缺乏空间对齐的问题。这种方法使得策略能够在执行时更准确地定位和调整底盘运动。

关键设计：在训练过程中，MAVP采用姿态噪声增强技术，以提高策略对输入姿态错误的鲁棒性。此外，策略的损失函数设计考虑了底盘姿态和机械臂动作的联合优化，确保了多任务的协调性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在六个真实世界的操控任务中，MAVP相较于未锚定速度控制方法，所有任务均实现了更高的成功率，具体提升幅度未知。这表明MAVP在提高任务执行可靠性方面具有显著效果。

🎯 应用场景

MAVP框架在移动操控领域具有广泛的应用潜力，尤其是在服务机器人、工业自动化和家庭助理等场景中。通过提高操控的可靠性和精确性，该研究能够显著提升机器人在复杂环境中的操作能力，未来可能推动智能机器人技术的进一步发展和普及。

📄 摘要（原文）

Successful mobile manipulation requires coordinated base and arm motion while maintaining accurate spatial positioning. However, demonstration-trained policies can struggle to realise the intended base motion reliably, leading to spatial misalignment and subsequent manipulation failures. We present MAVP (Map-Aware Visuomotor Policies), a framework that improves execution reliability by predicting explicit base-pose targets and tracking them using localisation feedback. MAVP reconstructs a static map from teleoperated demonstrations and expresses demonstrated base trajectories in a shared map frame, providing consistent spatial supervision across demonstrations. At execution time, the policy receives RGB observations, joint states, and the robot's current map-frame base pose, and jointly predicts target base poses, arm actions, and gripper actions. A low-level controller tracks the predicted base targets using feedforward motion and pose error feedback, enabling correction of execution deviations. We additionally use pose-noise augmentation during training to improve robustness to errors in the policy's pose input. Across six real-world manipulation tasks and three policy families, MAVP achieves higher task success rates than unanchored velocity control in all tasks. Videos and additional results are available at https://123qwedsa123.github.io/mavp/.