Curriculum Imitation Learning of Distributed Multi-Robot Policies

📄 arXiv: 2509.25097v2 📥 PDF

作者: Jesús Roche, Eduardo Sebastián, Eduardo Montijano

分类: cs.RO, cs.LG, cs.MA

发布日期: 2025-09-29 (更新: 2025-10-01)

备注: Accepted and presented at the Eight Iberian Robotics Conference, 2025

💡 一句话要点

提出基于课程学习的分布式多机器人策略模仿学习方法，提升长期协调能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 多机器人系统 模仿学习 课程学习 分布式控制 感知估计

📋 核心要点

  1. 多机器人系统控制策略学习面临长期协调困难和真实训练数据匮乏的挑战。
  2. 提出一种课程学习策略，通过逐步增加专家轨迹长度，提升长期行为的准确性和学习稳定性。
  3. 引入感知估计方法，仅利用全局状态演示近似机器人自我中心感知，增强策略的鲁棒性。

📝 摘要（中文）

本文针对多机器人系统（MRS）控制策略学习中长期协调困难和难以获取真实训练数据的问题，提出了一种模仿学习框架。首先，改变了课程学习在MRS中的传统角色，不再侧重于机器人数量的可扩展性，而是专注于提高长期协调能力。提出了一种课程策略，在训练过程中逐步增加专家轨迹的长度，从而稳定学习并提高长期行为的准确性。其次，引入了一种仅使用第三人称全局状态演示来近似每个机器人的自我中心感知的方法。该方法通过过滤邻居、转换参考系和模拟车载传感器可变性，将理想化的轨迹转换为局部可用的观测。最后，将这两种方法集成到一种物理信息技术中，以从观测中生成可扩展的分布式策略。在具有不同团队规模和噪声水平的两个任务中进行了实验。结果表明，该课程提高了长期准确性，而感知估计方法产生了对真实不确定性具有鲁棒性的策略。总之，这些策略能够从全局演示中学习鲁棒的分布式控制器，即使在没有专家动作或车载测量的情况下。

🔬 方法详解

问题定义：多机器人系统控制策略学习面临两大挑战：一是长期协调问题，即如何让多个机器人在较长时间范围内协同完成任务；二是难以获取真实的训练数据，真实环境中的数据往往包含噪声和不确定性，而仿真数据又难以完全模拟真实环境。

核心思路：本文的核心思路是利用模仿学习框架，结合课程学习和感知估计，从全局演示数据中学习鲁棒的分布式控制策略。课程学习用于解决长期协调问题，感知估计用于解决数据真实性问题。通过模仿学习，避免了强化学习中探索的困难，提高了学习效率。

技术框架：整体框架包含以下几个主要模块：1) 全局状态演示数据收集；2) 感知估计模块，将全局状态转换为每个机器人的局部观测；3) 课程学习模块，逐步增加专家轨迹的长度；4) 策略学习模块，利用模仿学习算法训练分布式控制策略。整个流程从全局演示数据开始，经过感知估计和课程学习，最终得到可用于实际环境的分布式控制策略。

关键创新：本文的关键创新在于两个方面：一是课程学习策略的应用，不同于以往侧重于机器人数量扩展的课程学习，本文侧重于提升长期协调能力；二是感知估计方法，仅使用全局状态演示来近似每个机器人的自我中心感知，避免了对专家动作或车载测量的依赖。

关键设计：课程学习策略的关键在于如何设计课程难度，本文采用逐步增加专家轨迹长度的方式。感知估计方法的关键在于如何过滤邻居、转换参考系和模拟车载传感器可变性，以生成更真实的局部观测。策略学习模块可以使用各种模仿学习算法，例如行为克隆或Dagger。

📊 实验亮点

实验结果表明，所提出的课程学习策略能够显著提高长期行为的准确性，感知估计方法能够生成对真实不确定性具有鲁棒性的策略。在两个不同的任务中，该方法都取得了优于基线方法的性能，证明了其有效性和泛化能力。具体性能数据和提升幅度在论文中有详细展示。

🎯 应用场景

该研究成果可应用于各种需要多机器人协同完成任务的场景，例如：仓库物流、灾难救援、环境监测、自动驾驶等。通过模仿学习，可以快速部署多机器人系统，降低开发成本，提高系统性能。未来，该方法有望进一步扩展到更复杂的任务和环境，实现更智能、更自主的多机器人系统。

📄 摘要（原文）

Learning control policies for multi-robot systems (MRS) remains a major challenge due to long-term coordination and the difficulty of obtaining realistic training data. In this work, we address both limitations within an imitation learning framework. First, we shift the typical role of Curriculum Learning in MRS, from scalability with the number of robots, to focus on improving long-term coordination. We propose a curriculum strategy that gradually increases the length of expert trajectories during training, stabilizing learning and enhancing the accuracy of long-term behaviors. Second, we introduce a method to approximate the egocentric perception of each robot using only third-person global state demonstrations. Our approach transforms idealized trajectories into locally available observations by filtering neighbors, converting reference frames, and simulating onboard sensor variability. Both contributions are integrated into a physics-informed technique to produce scalable, distributed policies from observations. We conduct experiments across two tasks with varying team sizes and noise levels. Results show that our curriculum improves long-term accuracy, while our perceptual estimation method yields policies that are robust to realistic uncertainty. Together, these strategies enable the learning of robust, distributed controllers from global demonstrations, even in the absence of expert actions or onboard measurements.