MoPA: Coordinated Mobile Manipulation via Subsystem-Specific Perception Alignment

📄 arXiv: 2609.12081v1 📥 PDF

作者: Guangyu Chen, Qiwei Liang, Shaolong Zhu, Tianxing Chen, Zikuan Xiao, Yifan Xie, Lingfeng Zhang, Ping Luo, Renjing Xu, Wenbo Ding

分类: cs.RO, cs.CV

发布日期: 2026-09-10

备注: Website: https://mopa-policy.github.io/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出MoPA框架以解决移动操控中的感知对齐问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 移动操控 感知对齐 双感知流 混合变换器 机器人技术 智能家居 自动化仓储

📋 核心要点

  1. 现有的移动操控方法在感知与动作生成之间缺乏有效的对齐，导致子系统特定的感知-动作对应关系不明确。
  2. 本文提出MoPA框架，通过双感知流和感知到动作的适应性，增强了移动性和操作的感知条件对齐。
  3. 在ManiSkill-HAB基准测试中，MoPA在所有任务中表现优异，平均全任务成功率达到76.3%，显著超越了现有最佳基线。

📝 摘要（中文）

移动操控需要在不同空间尺度上获取感知证据，以实现底盘运动和机械臂控制，但这两种动作模式在运动学上是耦合的。现有策略通常为不同子系统采用专门的动作生成，但在共享感知表示上条件化异构动作分支，导致子系统特定的感知-动作对应关系隐含。本文提出MoPA框架，通过感知条件与移动性和操作的对齐，同时保持动作层面的协调。双感知流利用两个互相屏蔽的查询库，从共享的视觉-语言上下文中提取独立的感知表示。感知到动作的适应性在结构化的混合变换器解码器的每一层共同更新每个查询库及其对应的动作流，同时实现两个动作流之间的信息交换。在ManiSkill-HAB基准上，MoPA在所有三个任务套件中实现了最先进的性能。在四个真实世界任务中，MoPA的平均全任务成功率为76.3%，比最佳基线高出12.5个百分点。消融研究和进一步分析验证了所提设计的有效性。

🔬 方法详解

问题定义：本文旨在解决移动操控中感知与动作生成之间的对齐问题。现有方法在处理不同子系统时，往往依赖共享的感知表示，导致子系统特定的感知-动作对应关系隐含，影响整体性能。

核心思路：MoPA框架通过双感知流设计，分别提取移动性和操作的独立感知表示，并通过感知到动作的适应性机制，增强两者之间的协调性。这样的设计使得每个子系统能够在特定的感知上下文中优化其动作生成。

技术框架：MoPA的整体架构包括双感知流和结构化的混合变换器解码器。双感知流利用两个互相屏蔽的查询库，从共享的视觉-语言上下文中提取独立的感知表示。感知到动作的适应性在每一层共同更新查询库和动作流，同时实现信息交换。

关键创新：MoPA的主要创新在于通过双感知流和耦合条件流匹配，学习联合向量场以协调生成两个动作流。这种方法与现有的依赖单一感知表示的策略本质上不同，显著提升了系统的协调性和灵活性。

关键设计：在设计中，采用了结构化的混合变换器解码器，允许在每一层进行感知与动作的联合更新。此外，互相屏蔽的查询库设计确保了感知表示的独立性，增强了系统的适应性和性能。具体的损失函数和参数设置在实验中经过优化，以确保最佳的训练效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在ManiSkill-HAB基准测试中，MoPA在所有任务套件中实现了最先进的性能，平均全任务成功率达到76.3%，比最佳基线高出12.5个百分点。这一显著提升证明了所提框架的有效性和实用性。

🎯 应用场景

MoPA框架在移动机器人、智能家居和自动化仓储等领域具有广泛的应用潜力。通过提高移动操控的协调性和灵活性，MoPA能够有效提升机器人在复杂环境中的操作能力，推动智能机器人技术的进一步发展。

📄 摘要（原文）

Mobile manipulation requires perceptual evidence at different spatial scales for base motion and arm control, while the two action modalities remain kinematically coupled. Existing policies often employ specialized action generation for different subsystems but condition heterogeneous action branches on a shared perceptual representation, leaving subsystem-specific perception-action correspondence implicit. We present MoPA, a framework that aligns perceptual conditioning with mobility and manipulation while preserving coordination at the action level. Dual Perceptual Streams employ two mutually masked query banks to extract separate perceptual representations from a shared vision-language context. Perception2Action Adaptation jointly updates each query bank and its corresponding action stream at every layer of a structured Mixture-of-Transformers decoder, while enabling information exchange between the two action streams. Coupled conditional flow matching learns a joint vector field for coordinated generation of both action chunks. On the ManiSkill-HAB benchmark, MoPA achieves state-of-the-art performance across all three task suites. Across four real-world tasks, MoPA achieves a mean full-task success rate of 76.3%, outperforming the best baseline by 12.5 percentage points. Ablation studies and further analyses validate the effectiveness of the proposed design. Website is available at: https://mopa-policy.github.io/.