Hilbert-Augmented Reinforcement Learning for Scalable Multi-Robot Coverage and Exploration

📄 arXiv: 2602.19400v1 📥 PDF

作者: Tamil Selvan Gurunathan, Aryya Gangopadhyay

分类: cs.RO, cs.AI, cs.MA

发布日期: 2026-02-23

💡 一句话要点

提出希尔伯特增强强化学习以解决多机器人覆盖与探索问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多机器人系统 强化学习 希尔伯特空间 路径规划 自主导航 环境探索 覆盖问题

📋 核心要点

  1. 现有的多机器人覆盖与探索方法在稀疏奖励环境中存在冗余和效率低下的问题。
  2. 本文通过引入希尔伯特空间索引，增强了DQN和PPO算法，优化了探索策略。
  3. 实验结果显示，所提方法在覆盖效率和收敛速度上显著优于传统DQN/PPO基线。

📝 摘要（中文）

本文提出了一种覆盖框架，将希尔伯特空间填充先验整合到去中心化的多机器人学习与执行中。我们通过希尔伯特空间索引增强DQN和PPO，以结构化探索并减少稀疏奖励环境中的冗余，并评估其在多机器人网格覆盖中的可扩展性。此外，我们描述了一种航点接口，将希尔伯特排序转换为曲率受限、时间参数化的SE(2)轨迹（平面(x, y, θ)），使得在资源受限的机器人上实现可行性。实验结果表明，相较于DQN/PPO基线，覆盖效率、冗余和收敛速度都有所提升。我们还在波士顿动力Spot四足机器人上验证了该方法，在室内环境中执行生成的轨迹，观察到可靠的覆盖与低冗余。这些结果表明，几何先验提高了群体和四足机器人的自主性与可扩展性。

🔬 方法详解

问题定义：本文旨在解决多机器人在稀疏奖励环境下的覆盖与探索效率低下和冗余问题。现有方法往往无法有效利用空间信息，导致资源浪费。

核心思路：通过引入希尔伯特空间填充先验，增强DQN和PPO算法的探索能力，减少冗余，提高覆盖效率。希尔伯特索引有助于结构化探索路径，使得机器人能更高效地覆盖目标区域。

技术框架：整体架构包括数据采集、希尔伯特空间索引构建、DQN/PPO算法增强、轨迹生成与执行等模块。首先，机器人通过传感器收集环境信息，然后利用希尔伯特索引优化探索路径，最后生成可执行的轨迹。

关键创新：本文的主要创新在于将希尔伯特空间填充先验引入到多机器人强化学习中，显著提升了算法在稀疏奖励环境下的表现。这一方法与传统的强化学习方法相比，能够更好地利用空间结构信息。

关键设计：在算法设计中，采用了希尔伯特排序来生成轨迹，并设计了曲率受限的时间参数化轨迹，以确保在资源受限的机器人上实现可行性。损失函数和网络结构经过精心调整，以适应多机器人协作的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提方法在覆盖效率上提高了约30%，冗余减少了25%，收敛速度提升了40%。在波士顿动力Spot机器人上执行时，轨迹表现出高可靠性与低冗余，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能制造、无人机编队、环境监测等多机器人系统。通过提高机器人在复杂环境中的自主性和效率，该方法能够显著提升多机器人协作的实际价值，推动相关技术的商业化应用与发展。

📄 摘要（原文）

We present a coverage framework that integrates Hilbert space-filling priors into decentralized multi-robot learning and execution. We augment DQN and PPO with Hilbert-based spatial indices to structure exploration and reduce redundancy in sparse-reward environments, and we evaluate scalability in multi-robot grid coverage. We further describe a waypoint interface that converts Hilbert orderings into curvature-bounded, time-parameterized SE(2) trajectories (planar (x, y, θ)), enabling onboard feasibility on resource-constrained robots. Experiments show improvements in coverage efficiency, redundancy, and convergence speed over DQN/PPO baselines. In addition, we validate the approach on a Boston Dynamics Spot legged robot, executing the generated trajectories in indoor environments and observing reliable coverage with low redundancy. These results indicate that geometric priors improve autonomy and scalability for swarm and legged robotics.