Scalable Multi-Robot Informative Path Planning for Target Mapping via Deep Reinforcement Learning
作者: Apoorva Vashisth, Manav Kulshrestha, Damon Conover, Aniket Bera
分类: cs.RO, cs.CV
发布日期: 2024-09-25 (更新: 2025-06-02)
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于深度强化学习的可扩展多机器人信息路径规划方法，用于目标地图构建。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多机器人系统 信息路径规划 深度强化学习 目标地图构建 集中训练分散执行
📋 核心要点
- 多机器人信息路径规划旨在复杂环境中高效探索，现有方法难以兼顾可扩展性、资源约束和环境复杂性。
- 论文提出基于深度强化学习的MRIPP方法，利用集中训练分散执行范式，学习可泛化的多机器人协作策略。
- 实验表明，该方法在发现目标数量上显著优于现有方法，且规划时间短，适用于大规模多机器人系统。
📝 摘要（中文）
本文提出了一种基于深度强化学习的多机器人信息路径规划（MRIPP）方法，旨在最大化未知3D环境中发现的静态目标数量，同时满足资源约束（如路径长度）。每个机器人力求在通信和资源约束下，最大化发现目标，避开未知的静态障碍物，并防止机器人间的碰撞。我们采用集中训练和分散执行的范式来训练单个策略神经网络。该方法的一个关键方面是协调图，它优先访问其他机器人尚未探索的区域。学习到的策略可以复制到任意数量的机器人上，以部署到训练期间未见过的更复杂环境中。我们的方法在发现目标数量方面优于现有方法至少26.2%，且每步规划时间少于2秒。我们展示了多达64个机器人在更复杂环境中的结果，并将成功率与基线规划器进行了比较。代码和训练模型已公开。
🔬 方法详解
问题定义：论文旨在解决多机器人系统在未知三维环境中进行目标地图构建的问题。现有方法，如传统的路径规划算法，在面对大规模机器人和复杂环境时，计算复杂度高，难以保证实时性和可扩展性。此外，这些方法通常难以处理资源约束，如路径长度限制和通信约束，以及机器人间的碰撞避免问题。
核心思路：论文的核心思路是利用深度强化学习（DRL）来学习一种能够适应复杂环境和资源约束的多机器人协作策略。通过集中训练，机器人可以学习到如何有效地探索环境，发现目标，并避免碰撞。分散执行使得训练好的策略能够部署到任意数量的机器人上，从而实现可扩展性。
技术框架：整体框架采用集中训练和分散执行（CTDE）的范式。在训练阶段，所有机器人的状态和奖励信息被集中起来，用于训练一个全局策略网络。在执行阶段，每个机器人独立地使用训练好的策略网络进行决策。框架包含以下主要模块：环境模型、状态表示、动作空间、奖励函数、策略网络和协调图。
关键创新：最重要的技术创新点在于协调图的设计。协调图用于指导机器人优先探索其他机器人尚未探索的区域，从而提高探索效率和目标发现率。与传统的独立探索方法相比，协调图能够有效地减少机器人之间的冗余探索，提高整体的覆盖率。
关键设计：状态表示包括机器人的位置、速度、目标位置、障碍物信息以及其他机器人的位置信息。动作空间包括机器人的运动方向和速度。奖励函数包括发现目标的奖励、避免碰撞的惩罚以及路径长度的惩罚。策略网络采用多层感知机（MLP）结构，输入是状态表示，输出是动作概率分布。协调图通过调整奖励函数，使得机器人更倾向于探索未被探索的区域。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在发现目标数量方面优于现有方法至少26.2%，并且每步规划时间少于2秒。在包含多达64个机器人的复杂环境中，该方法仍然能够保持较高的成功率。与基线规划器相比，该方法在探索效率和目标发现率方面具有显著优势。
🎯 应用场景
该研究成果可应用于多种场景，如灾后搜救、环境监测、农业巡检和仓库管理等。通过部署多个自主机器人，可以快速有效地完成目标地图构建和信息收集任务。该方法具有良好的可扩展性和适应性，能够应对复杂多变的实际环境，为相关领域提供更高效、更智能的解决方案。
📄 摘要（原文）
Autonomous robots are widely utilized for mapping and exploration tasks due to their cost-effectiveness. Multi-robot systems offer scalability and efficiency, especially in terms of the number of robots deployed in more complex environments. These tasks belong to the set of Multi-Robot Informative Path Planning (MRIPP) problems. In this paper, we propose a deep reinforcement learning approach for the MRIPP problem. We aim to maximize the number of discovered stationary targets in an unknown 3D environment while operating under resource constraints (such as path length). Here, each robot aims to maximize discovered targets, avoid unknown static obstacles, and prevent inter-robot collisions while operating under communication and resource constraints. We utilize the centralized training and decentralized execution paradigm to train a single policy neural network. A key aspect of our approach is our coordination graph that prioritizes visiting regions not yet explored by other robots. Our learned policy can be copied onto any number of robots for deployment in more complex environments not seen during training. Our approach outperforms state-of-the-art approaches by at least 26.2% in terms of the number of discovered targets while requiring a planning time of less than 2 sec per step. We present results for more complex environments with up to 64 robots and compare success rates against baseline planners. Our code and trained model are available at - https://github.com/AccGen99/marl_ipp