Multi-Robot Reliable Navigation in Uncertain Topological Environments with Graph Attention Networks
作者: Zhuoyuan Yu, Hongliang Guo, Albertus Hendrawan Adiwahono, Jianle Chan, Brina Shong Wey Tynn, Chee-Meng Chew, Wei-Yun Yau
分类: cs.RO
发布日期: 2024-11-25
备注: 8 pages, 5 figures
💡 一句话要点
提出MARVEL算法，利用图注意力网络解决不确定拓扑环境下的多机器人可靠导航问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 多机器人导航 不确定拓扑网络 图注意力网络 深度强化学习 POMDP 可靠导航 动态环境
📋 核心要点
- 现有方法难以适应实时变化的网络拓扑，无法有效解决不确定拓扑环境下的多机器人可靠导航问题。
- 提出MARVEL算法，结合深度强化学习和图注意力网络，利用自注意力机制关注关键图特征，优化机器人决策。
- 实验表明，MARVEL在不确定拓扑网络中具有更好的适应性和性能，并在真实室内环境中验证了其可行性。
📝 摘要（中文）
本文研究了不确定拓扑网络中的多机器人可靠导航问题，旨在最大化机器人团队在面对道路网络不确定性时的准时到达概率。这些网络中的不确定性源于未知的边缘可穿越性，只有当机器人到达边缘的起始节点时才会显现。现有方法通常难以适应实时网络拓扑变化，使其不适合变化拓扑环境。为了应对这一挑战，我们将问题重新定义为部分可观察马尔可夫决策过程（POMDP）框架，并引入动态自适应图嵌入方法来捕获导航任务的演变特性。我们进一步通过将深度强化学习与图注意力网络（GAT）集成，利用自注意力机制来关注关键图特征，从而增强每个机器人的策略学习过程。所提出的方法，即基于学习的可变环境多智能体路由（MARVEL），采用广义策略梯度算法来迭代优化机器人的实时决策过程。我们将MARVEL的性能与最先进的可靠导航算法以及加拿大旅行者问题解决方案在一系列规范的交通网络中进行了比较，证明了其在不确定拓扑网络中具有更好的适应性和性能。此外，在具有不确定拓扑结构的自建室内环境中，使用两个机器人进行的真实世界实验证明了MARVEL的实用性。
🔬 方法详解
问题定义：论文旨在解决不确定拓扑网络中多机器人可靠导航的问题。现有方法主要痛点在于无法有效处理网络拓扑的实时变化，导致在动态环境中导航性能下降，难以保证机器人团队的准时到达概率。
核心思路：论文的核心思路是将多机器人导航问题建模为部分可观察马尔可夫决策过程（POMDP），并利用深度强化学习来学习最优导航策略。通过引入图注意力网络（GAT），使机器人能够关注网络中的关键节点和边，从而更好地适应拓扑变化。动态自适应图嵌入方法用于捕获导航任务的演变特性。
技术框架：MARVEL算法的整体框架包括以下几个主要模块：1) 环境建模：将不确定拓扑网络建模为图结构，其中节点表示位置，边表示路径，边的可穿越性是不确定的。2) 状态表示：每个机器人的状态包括其当前位置、已探索的路径信息以及对未知边的信念。3) 策略学习：使用深度强化学习算法（广义策略梯度）训练每个机器人的导航策略。4) 图注意力网络：GAT用于提取图结构中的关键特征，并指导机器人的决策。5) 动态自适应图嵌入：用于捕获导航任务的动态变化，并更新机器人的状态表示。
关键创新：论文最重要的技术创新点在于将图注意力网络（GAT）引入到多机器人导航问题中。GAT能够使机器人关注网络中的关键节点和边，从而更好地适应拓扑变化。此外，动态自适应图嵌入方法也能够有效地捕获导航任务的演变特性。与现有方法相比，MARVEL算法能够更好地处理不确定拓扑网络中的实时变化，从而提高导航的可靠性。
关键设计：GAT的网络结构包括多个注意力层，每一层都学习节点之间的注意力权重。注意力权重用于加权聚合邻居节点的信息，从而得到节点的新的表示。损失函数采用广义策略梯度算法中的策略梯度损失，目标是最大化机器人团队的准时到达概率。参数设置方面，需要仔细调整GAT的层数、每层的神经元数量以及学习率等超参数。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MARVEL算法在各种规范的交通网络中，相比于最先进的可靠导航算法和加拿大旅行者问题解决方案，具有更好的适应性和性能。在具有不确定拓扑结构的自建室内环境中，使用两个机器人进行的真实世界实验也验证了MARVEL的实用性。具体性能提升数据在论文中给出，表明MARVEL能够显著提高机器人团队的准时到达概率。
🎯 应用场景
该研究成果可应用于仓储物流、智能交通、灾难救援等领域。在仓储物流中，可用于优化AGV的路径规划，提高物流效率。在智能交通中，可用于解决车辆在复杂路况下的导航问题，提高交通安全性。在灾难救援中，可用于指导救援机器人快速到达目标地点，提高救援效率。未来，该研究可进一步扩展到更大规模、更复杂的环境中，并与其他技术（如视觉导航、SLAM）相结合，实现更智能、更可靠的机器人导航。
📄 摘要（原文）
This paper studies the multi-robot reliable navigation problem in uncertain topological networks, which aims at maximizing the robot team's on-time arrival probabilities in the face of road network uncertainties. The uncertainty in these networks stems from the unknown edge traversability, which is only revealed to the robot upon its arrival at the edge's starting node. Existing approaches often struggle to adapt to real-time network topology changes, making them unsuitable for varying topological environments. To address the challenge, we reformulate the problem into a Partially Observable Markov Decision Process (POMDP) framework and introduce the Dynamic Adaptive Graph Embedding method to capture the evolving nature of the navigation task. We further enhance each robot's policy learning process by integrating deep reinforcement learning with Graph Attention Networks (GATs), leveraging self-attention to focus on critical graph features. The proposed approach, namely Multi-Agent Routing in Variable Environments with Learning (MARVEL) employs the generalized policy gradient algorithm to optimize the robots' real-time decision-making process iteratively. We compare the performance of MARVEL with state-of-the-art reliable navigation algorithms as well as Canadian traveller problem solutions in a range of canonical transportation networks, demonstrating improved adaptability and performance in uncertain topological networks. Additionally, real-world experiments with two robots navigating within a self-constructed indoor environment with uncertain topological structures demonstrate MARVEL's practicality.