Reinforcement Learning for Large-Scale Lifelong Multi-Agent Path Finding with Shared Spatial Fields

📄 arXiv: 2610.18186v1 📥 PDF

作者: Jean Seong Bjorn Choe

分类: cs.LG

发布日期: 2026-10-13

💡 一句话要点

提出一种基于强化学习的多智能体路径规划方法以应对复杂交通环境

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体系统 路径规划 强化学习 卷积神经网络 交通管理 实时决策

📋 核心要点

  1. 现有的多智能体路径规划方法在面对复杂和动态的交通环境时，往往计算成本高且响应速度慢，难以满足实时需求。
  2. 本文提出了一种基于卷积网络的共享空间场计算方法，结合目标条件操作符，能够高效推导智能体的移动决策。
  3. 在六个不同布局中进行的实验显示，所提方法在处理10000个智能体时，通量表现优于多个基线方法，且执行速度显著提升。

📝 摘要（中文）

针对大规模的终身多智能体路径规划（LMAPF）问题，本文提出了一种计算成本低的导航策略。该策略通过卷积网络在每个时间步计算共享空间场，并利用紧凑的目标条件操作符来推导智能体的移动偏好。整个策略通过平均奖励强化学习进行端到端训练，使用通量作为奖励，无需规划演示或单独的在线路径规划器。实验表明，在六个布局中，使用10000个智能体的情况下，所提策略的通量与最强基线相当或更高，且每步的平均执行时间低于10毫秒，显著快于多种现有规划器。

🔬 方法详解

问题定义：本文旨在解决大规模终身多智能体路径规划中的计算效率低和响应速度慢的问题。现有方法在动态交通条件下难以快速做出决策，限制了其应用场景。

核心思路：提出了一种新的导航策略，通过卷积神经网络计算共享空间场，并利用目标条件操作符来推导智能体的移动偏好。这种设计使得每个时间步只需计算一次共享空间场，从而降低了计算复杂度。

技术框架：整体架构包括卷积网络用于计算共享空间场，目标条件操作符用于生成移动偏好，最后通过强化学习进行端到端训练。该方法不依赖于传统的路径规划器，直接通过奖励机制优化策略。

关键创新：最重要的创新在于将共享空间场与目标条件操作符结合，形成了一种新的决策机制。这种机制与传统的基于规划的路径寻找方法有本质区别，能够在动态环境中快速适应。

关键设计：在训练过程中，采用平均奖励强化学习，通量作为奖励信号。网络结构上，卷积层用于提取空间特征，目标条件操作符设计为紧凑的形式，以提高计算效率。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，所提方法在六个布局中处理10000个智能体时，通量表现与最强基线相当或更高，且平均执行时间低于10毫秒，速度比多种现有规划器快一个数量级，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能交通系统、无人驾驶汽车、机器人群体协作等。通过提高多智能体在复杂环境中的路径规划效率，能够显著提升交通流量管理和机器人协作的实际价值，未来可能推动智能交通和自动化技术的发展。

📄 摘要（原文）

Large-scale applications of lifelong multi-agent path finding (LMAPF) call for computationally inexpensive movement decisions under changing traffic conditions and across varied layouts. We propose a navigation policy in which a convolutional network computes a shared spatial field over the map once per timestep and a compact goal-conditioned operator derives agents' movement preferences. The complete policy is trained end-to-end using average-reward reinforcement learning with throughput as the reward, without planner demonstrations or a separate online path planner. For structured and unstructured layouts, we train one policy per class on mixtures of small maps and deploy each without retraining on larger, unseen layouts and agent populations. Across six layouts with 10000 agents, our policies achieve throughput comparable to or higher than the strongest evaluated baselines. The proposed method has an average execution time below 10 ms per step, more than an order of magnitude faster than several established planners.