MAAP: Multi-Agent Active Perception for Collaborative Manipulation

📄 arXiv: 2609.21929v1 📥 PDF

作者: Bruno N. Y. Chen, Li Kang, Heng Zhou, Xiufeng Song, Zhemeng Zhang, Jiahua Ma, Yiran Qin

分类: cs.RO

发布日期: 2026-09-18

备注: Project Page: https://nybchen.github.io/MAAP

💡 一句话要点

提出MAAP以解决多智能体协作操作中的感知不足问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体操作 主动感知 角色感知学习 协作机器人 机器人视觉

📋 核心要点

  1. 现有方法在多智能体操作中未能充分利用每个机械臂的视角，导致感知能力不足。
  2. 论文提出MAAP，使每个机械臂不仅执行操作，还通过腕部摄像头提供移动视角，结合RAIL进行角色感知学习。
  3. 实验结果显示，MAAP+RAIL在多项任务中显著提升成功率，尤其在三臂任务中表现尤为突出。

📝 摘要（中文）

多智能体操作自然产生多个任务驱动的视角：每个机械臂携带一个腕部摄像头并在执行操作时移动。然而，这些观察通常未被充分利用，主动感知在操作中仍然常常被视为需要专门的感知代理。我们提出MAAP（多智能体主动感知），使每个机械臂既执行操作动作，又通过其携带的腕部摄像头同时作为团队的移动视角。我们将其与RAIL（角色感知模仿学习）相结合，后者预测每个机械臂的当前角色及其动作块，并基于此条件生成动作，代表角色依赖的动作。通过四个模拟任务，扩大感知范围使得成功率从固定摄像头的56.5%提升至62.5%（一个主动腕部视角）和70.0%（所有视角），而MAAP+RAIL达到了79.2%。RAIL的额外增益集中在三臂微波炉任务上，成功率从47%提升至82%。在双臂平台上，MAAP+RAIL在20次放置试验中成功14次，而固定视角的ACT则为0次。因此，协作操作本身可以作为一种主动感知机制。

🔬 方法详解

问题定义：本论文旨在解决多智能体协作操作中感知不足的问题。现有方法通常依赖固定摄像头，未能充分利用每个机械臂的视角，导致操作效率低下。

核心思路：论文的核心思路是将每个机械臂设计为双重功能，不仅执行操作动作，还通过其腕部摄像头提供动态视角，从而增强团队的感知能力。

技术框架：整体架构包括两个主要模块：MAAP用于实现主动感知，RAIL用于角色感知模仿学习。MAAP通过每个机械臂的视角收集信息，而RAIL则根据每个机械臂的角色生成相应的操作动作。

关键创新：最重要的技术创新在于将主动感知与操作执行结合，使得每个机械臂不仅是执行者，也是信息采集者。这一设计与传统方法的本质区别在于去除了对专门感知代理的依赖。

关键设计：在网络结构上，RAIL通过条件生成动作，考虑每个机械臂的角色和动作块。损失函数设计上，强调角色依赖性，确保生成的动作符合当前角色的任务需求。具体参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，MAAP+RAIL在四个模拟任务中成功率显著提升，尤其在三臂微波炉任务中，从47%提升至82%。在双臂平台上，MAAP+RAIL在20次放置试验中成功14次，而固定视角的ACT则为0次，展示了主动感知的有效性。

🎯 应用场景

该研究的潜在应用领域包括工业自动化、服务机器人和协作机器人等场景，能够显著提升多智能体系统在复杂环境中的操作效率和灵活性。未来，这种主动感知机制可能会在更广泛的机器人应用中发挥重要作用，推动智能机器人技术的发展。

📄 摘要（原文）

Multi-agent manipulation naturally produces multiple task-driven viewpoints: every arm carries a wrist camera and moves through the scene while acting. Yet these observations are typically underutilized, and active perception in manipulation is still often treated as requiring a dedicated sensing agent. We introduce MAAP (Multi-Agent Active Perception), in which every arm is dual-purpose: it executes manipulation actions and, through the wrist camera it carries, simultaneously serves as a moving viewpoint for the team. We pair this with RAIL (Role-Aware Imitation Learning), a controller that predicts each arm's current role alongside its action chunk and conditions action generation on it, representing role-dependent actions within one network. Across four simulated tasks, widening the perception regime lifts average success from 56.5% with a fixed camera to 62.5% with one active wrist view and 70.0% with all of them, while MAAP+RAIL reaches 79.2%. RAIL's additional gain is concentrated on the three-arm Microwave task, where success rises from 47% to 82% on identical multi-wrist inputs. On a dual-arm platform, MAAP+RAIL succeeds in 14 of 20 placement trials compared with 0 of 20 for fixed-view ACT. Collaborative manipulation can thus serve as an active perception mechanism in its own right.