CALM: Decentralized Control of Cooperative Aerial Manipulation with Multi-Agent Reinforcement Learning

📄 arXiv: 2610.18425v1 📥 PDF

作者: Jiaxi Huo, Petre Ricioppo, Fausto Francesco Lizzio

分类: cs.RO, cs.MA

发布日期: 2026-10-13

备注: 8 pages

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出CALM以解决多无人机协作操控中的挑战

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多无人机协作 强化学习 去中心化控制 空中操控 目标跟踪

📋 核心要点

  1. 现有的多无人机协作操控方法在面对风力和载荷运动时表现不佳，难以有效跟踪移动目标。
  2. CALM通过去中心化控制和多智能体强化学习策略，结合目标估计和状态观测器，提升了操控精度。
  3. 实验结果显示，CALM在位置和方向误差上显著优于多种基线方法，展示了其优越的操控性能。

📝 摘要（中文）

协作空中操控在风力、载荷运动和目标广播噪声等因素下非常困难，因为多个无人机通过共享载荷相互耦合。本文提出了CALM（协作空中学习操控），这是一个用于携带篮子的空中操控器的去中心化控制器，同时跟踪移动的地面机器人。CALM结合了参数共享的多智能体强化学习策略，使用多智能体近端策略优化（MAPPO）进行训练，并引入目标估计、每个无人机的扩展状态观测器（ESO）、篮子质量估计和预期的队形偏航前馈。预期的队形偏航前馈利用估计的目标运动在位置误差发展之前旋转队形，从而减少篮子偏航滞后而不增加净指令力。在去中心化执行的同时，干扰条件下的评论员支持集中训练。实验结果表明，CALM在保持的轨迹上实现了比所有评估基线更低的平均位置和方向误差。

🔬 方法详解

问题定义：本文旨在解决多无人机在协作操控中面临的挑战，尤其是在风力、载荷运动和目标广播噪声影响下的操控精度问题。现有方法往往无法有效应对这些复杂环境，导致操控效果不理想。

核心思路：CALM的核心思路是采用去中心化控制策略，结合多智能体强化学习（MARL）和目标估计技术，以提高多无人机协作操控的稳定性和精度。通过参数共享的学习策略，多个无人机能够更好地协调行动，减少相互之间的干扰。

技术框架：CALM的整体架构包括多个主要模块：首先是多智能体近端策略优化（MAPPO）用于训练共享策略；其次是扩展状态观测器（ESO）用于实时状态估计；最后是预期的队形偏航前馈模块，用于提前调整队形以应对目标运动。

关键创新：CALM的主要创新在于引入了预期的队形偏航前馈机制，该机制能够在位置误差出现之前调整无人机的队形，从而有效减少篮子偏航滞后。这一设计显著提升了操控的响应速度和精度。

关键设计：在参数设置上，CALM使用了共享的策略网络，损失函数设计上结合了位置和方向误差的加权损失。此外，扩展状态观测器的设计确保了每个无人机能够实时获取环境信息，从而更好地进行决策。整体网络结构经过优化，以适应多无人机的协作需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CALM在保持的轨迹上实现了7.68厘米的平均位置误差和3.3度的方向误差，显著优于匹配臂基线的10.95厘米和4.7度。此外，在未见的全信息路径降级情况下，CALM的表现仍然与基线相当或更优，展示了其强大的鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括物流运输、灾害救援和农业监测等场景。在这些领域中，多无人机协作操控能够显著提高任务执行效率和灵活性。未来，CALM的技术可以扩展到更复杂的环境中，推动无人机技术的进一步发展。

📄 摘要（原文）

Cooperative aerial manipulation is difficult under wind, payload motion, and noisy goal broadcasts because multiple Unmanned Aerial Vehicles (UAVs) are coupled through a shared payload. We present CALM (Cooperative Aerial Learned Manipulation), a decentralized controller for aerial manipulators carrying a basket while tracking a moving ground robot. CALM combines a parameter-shared Multi-Agent Reinforcement Learning (MARL) policy, trained using Multi-Agent Proximal Policy Optimization (MAPPO), with goal estimation, per-UAV Extended State Observers (ESOs), basket-mass estimation, and anticipatory formation-yaw feedforward. The anticipatory formation-yaw feedforward uses estimated goal motion to rotate the formation before position error develops, reducing basket-yaw lag without adding net commanded force. A disturbance-conditioned critic supports centralized training while execution remains decentralized. Across held-out trajectories, CALM achieves lower mean position and orientation errors than all evaluated baselines, including the matched arm baseline (7.68 versus 10.95 cm and 3.3 versus 4.7$^\circ$), the cable-suspended realization, and two model-based controllers. Under unseen full-information-path degradation, CALM remains statistically comparable or superior to the arm baseline. Videos are available at https://petreric.github.io/CALM/.