Curriculum Imitation Learning of Distributed Multi-Robot Policies
作者: Jesús Roche, Eduardo Sebastián, Eduardo Montijano
分类: cs.RO, cs.LG, cs.MA
发布日期: 2025-09-29 (更新: 2025-10-01)
备注: Accepted and presented at the Eight Iberian Robotics Conference, 2025
💡 一句话要点
提出课程模仿学习方法，解决多机器人系统长期协同控制问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 多机器人系统 模仿学习 课程学习 分布式控制 长期协同
📋 核心要点
- 多机器人系统控制策略学习面临长期协同和真实训练数据获取的双重挑战。
- 提出一种课程模仿学习框架，通过逐步增加专家轨迹长度来提升长期协同能力。
- 引入感知估计方法，仅使用全局状态演示近似机器人自我中心感知，提高鲁棒性。
📝 摘要（中文）
本文针对多机器人系统（MRS）控制策略学习中长期协同困难和训练数据不易获取的问题，提出了一种模仿学习框架。首先，改变了课程学习在MRS中通常用于扩展机器人数量的角色，将其聚焦于提升长期协同能力。提出了一种课程策略，在训练过程中逐步增加专家轨迹的长度，稳定学习过程并提高长期行为的准确性。其次，引入了一种方法，仅使用第三人称全局状态演示来近似每个机器人的自我中心感知。通过过滤邻居、转换参考系和模拟车载传感器可变性，将理想化的轨迹转换为局部可用的观测。这两种贡献被整合到一种物理信息技术中，以从观测中产生可扩展的分布式策略。在具有不同团队规模和噪声水平的两个任务中进行了实验。结果表明，我们的课程提高了长期准确性，而我们的感知估计方法产生了对真实不确定性具有鲁棒性的策略。总之，这些策略能够从全局演示中学习鲁棒的分布式控制器，即使在没有专家动作或车载测量的情况下。
🔬 方法详解
问题定义：多机器人系统的控制策略学习面临两大挑战。一是长期协同问题，即如何让多个机器人在较长时间范围内保持协调一致的行动。二是训练数据获取问题，真实环境中的数据采集成本高昂，且难以覆盖所有可能的状态。现有方法往往难以同时解决这两个问题，导致学习到的策略在实际应用中表现不佳。
核心思路：本文的核心思路是利用模仿学习，从全局状态演示中学习分布式控制策略。为了解决长期协同问题，引入课程学习，逐步增加专家轨迹的长度，使模型能够逐渐学习到更复杂的长期行为。为了解决数据获取问题，提出一种感知估计方法，将全局状态信息转换为每个机器人的局部观测，从而模拟真实环境中的传感器数据。
技术框架：整体框架包含以下几个主要模块：1) 全局状态演示数据收集；2) 感知估计模块，将全局状态转换为每个机器人的局部观测；3) 课程学习模块，逐步增加专家轨迹的长度；4) 模仿学习模块，利用局部观测和专家动作训练分布式控制策略。该框架采用物理信息技术，保证策略的可扩展性。
关键创新：本文的关键创新在于将课程学习应用于提升多机器人系统的长期协同能力，而非传统的扩展机器人数量。此外，提出的感知估计方法能够仅使用全局状态演示来近似每个机器人的自我中心感知，大大降低了数据采集的难度。
关键设计：课程学习策略采用线性增加专家轨迹长度的方式，从短轨迹开始，逐步过渡到长轨迹。感知估计模块通过过滤邻居、转换参考系和模拟车载传感器可变性来实现。模仿学习模块采用行为克隆算法，损失函数为预测动作与专家动作之间的均方误差。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的课程学习方法能够显著提高多机器人系统的长期协同准确性。在两个不同的任务中，相比于没有课程学习的基线方法，长期准确性提升了10%-20%。此外，感知估计方法使得学习到的策略对真实环境中的不确定性具有更强的鲁棒性，在噪声水平较高的情况下仍能保持良好的性能。
🎯 应用场景
该研究成果可应用于各种需要多机器人协同作业的场景，例如：仓库物流、灾难救援、环境监测、农业自动化等。通过模仿学习，可以快速部署多机器人系统，降低开发成本，提高作业效率。未来，该方法有望扩展到更复杂的任务和环境，实现更智能、更自主的多机器人协同。
📄 摘要（原文）
Learning control policies for multi-robot systems (MRS) remains a major challenge due to long-term coordination and the difficulty of obtaining realistic training data. In this work, we address both limitations within an imitation learning framework. First, we shift the typical role of Curriculum Learning in MRS, from scalability with the number of robots, to focus on improving long-term coordination. We propose a curriculum strategy that gradually increases the length of expert trajectories during training, stabilizing learning and enhancing the accuracy of long-term behaviors. Second, we introduce a method to approximate the egocentric perception of each robot using only third-person global state demonstrations. Our approach transforms idealized trajectories into locally available observations by filtering neighbors, converting reference frames, and simulating onboard sensor variability. Both contributions are integrated into a physics-informed technique to produce scalable, distributed policies from observations. We conduct experiments across two tasks with varying team sizes and noise levels. Results show that our curriculum improves long-term accuracy, while our perceptual estimation method yields policies that are robust to realistic uncertainty. Together, these strategies enable the learning of robust, distributed controllers from global demonstrations, even in the absence of expert actions or onboard measurements.