RL-OGM-Parking: Lidar OGM-Based Hybrid Reinforcement Learning Planner for Autonomous Parking

📄 arXiv: 2502.18846v1 📥 PDF

作者: Zhitao Wang, Zhe Chen, Mingyang Jiang, Tong Qin, Ming Yang

分类: cs.RO, eess.SY

发布日期: 2025-02-26

💡 一句话要点

提出基于激光雷达OGM和混合强化学习的自动泊车规划器

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 自动泊车 强化学习 激光雷达 Occupancy Grid Map 混合规划 Sim2Real 机器人导航

📋 核心要点

  1. 传统规则方法在复杂泊车环境中泛化性差，纯学习方法又面临Sim2Real迁移难题，导致实际应用受限。
  2. 采用混合策略，结合Reeds-Shepp规则规划器的稳定性和强化学习规划器的泛化性，优势互补。
  3. 利用激光雷达构建实时OGM地图，有效弥合Sim2Real差距，并在真实场景中验证了算法的有效性。

📝 摘要（中文）

自动泊车是自动驾驶研发中的关键应用。泊车操作常受限于狭小空间和复杂环境，需要精确感知和操控。传统基于规则的泊车算法难以适应多样和不可预测的条件，而基于学习的算法在各种场景下缺乏一致性和稳定性。因此，需要一种混合方法，结合基于规则方法的稳定性和基于学习方法的泛化性。最近，基于强化学习(RL)的策略在规划任务中表现出强大的能力。然而，模拟到现实(sim-to-real)的迁移差距严重阻碍了实际部署。为了解决这些问题，我们采用了一种混合策略，包括基于规则的Reeds-Shepp (RS)规划器和基于学习的强化学习(RL)规划器。采用基于激光雷达的实时Occupancy Grid Map (OGM)表示来弥合sim-to-real的差距，使混合策略可以无缝地应用于实际系统。我们在仿真环境和真实场景中进行了大量实验，结果表明该方法优于纯粹基于规则和基于学习的方法。真实世界的实验进一步验证了该方法的可行性和效率。

🔬 方法详解

问题定义：自动泊车任务需要在狭小和复杂的环境中进行精确的车辆操控。现有方法，如纯规则方法，难以适应各种复杂场景，泛化性不足；而纯学习方法，尤其是强化学习方法，在模拟环境中训练的模型难以直接迁移到真实世界，存在Sim2Real的差距。

核心思路：论文的核心思路是结合规则方法和学习方法的优点，提出一种混合规划策略。规则方法提供稳定性和安全性，强化学习方法提供灵活性和适应性。通过激光雷达构建的OGM地图作为环境感知输入，弥合模拟环境和真实环境的差异，实现策略的平滑迁移。

技术框架：整体框架包含三个主要模块：1) 基于激光雷达的OGM构建模块，用于实时感知周围环境；2) 基于规则的Reeds-Shepp (RS) 规划器，生成初始轨迹；3) 基于强化学习的规划器，对RS规划器生成的轨迹进行优化和调整。混合策略通过某种机制（未知，论文未明确说明）选择RS规划器或RL规划器生成的轨迹。

关键创新：该方法最重要的创新点在于混合规划策略和OGM地图的应用。混合策略结合了规则方法和学习方法的优点，提高了算法的鲁棒性和泛化性。OGM地图提供了一种通用的环境表示方法，有效弥合了Sim2Real的差距。

关键设计：论文中关于强化学习规划器的具体网络结构、损失函数、奖励函数等技术细节描述不足，未知具体实现。OGM地图的分辨率、更新频率等参数也未明确说明。混合策略中如何选择RS规划器或RL规划器的机制也未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该混合方法在仿真和真实环境中均优于纯规则和纯学习方法。虽然论文中没有给出具体的性能数据和提升幅度，但强调了真实世界实验验证了该方法的可行性和效率，表明该方法具有实际应用价值。

🎯 应用场景

该研究成果可应用于各种自动泊车场景，例如停车场、街道等。通过提高自动泊车的效率和安全性，可以提升用户体验，降低事故风险，并为未来的自动驾驶技术发展奠定基础。该方法还可扩展到其他机器人导航任务中，具有广泛的应用前景。

📄 摘要（原文）

Autonomous parking has become a critical application in automatic driving research and development. Parking operations often suffer from limited space and complex environments, requiring accurate perception and precise maneuvering. Traditional rule-based parking algorithms struggle to adapt to diverse and unpredictable conditions, while learning-based algorithms lack consistent and stable performance in various scenarios. Therefore, a hybrid approach is necessary that combines the stability of rule-based methods and the generalizability of learning-based methods. Recently, reinforcement learning (RL) based policy has shown robust capability in planning tasks. However, the simulation-to-reality (sim-to-real) transfer gap seriously blocks the real-world deployment. To address these problems, we employ a hybrid policy, consisting of a rule-based Reeds-Shepp (RS) planner and a learning-based reinforcement learning (RL) planner. A real-time LiDAR-based Occupancy Grid Map (OGM) representation is adopted to bridge the sim-to-real gap, leading the hybrid policy can be applied to real-world systems seamlessly. We conducted extensive experiments both in the simulation environment and real-world scenarios, and the result demonstrates that the proposed method outperforms pure rule-based and learning-based methods. The real-world experiment further validates the feasibility and efficiency of the proposed method.