Learning Reliable Parking Policies via Offline Reinforcement Learning with Quantized Action Representations
作者: Zewei Yang, Zengqi Peng, Jun Ma
分类: cs.RO
发布日期: 2026-09-17
💡 一句话要点
提出离线强化学习框架以解决城市环境下自动泊车问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自动泊车 离线强化学习 交互感知 LiDAR 深度学习 城市环境 机器人导航
📋 核心要点
- 现有的自动泊车方法在处理复杂的城市环境时，往往面临停车空间杂乱和周围车辆交互不确定性的问题，导致操控不可靠。
- 本文提出了一种基于航点的离线强化学习框架，通过构建专用停车数据集和特征线性调制技术，提升了自动泊车的可靠性。
- 实验结果表明，所提出的框架在CARLA模拟器中实现了最高的停车成功率，并能有效适应未见过的停车位，显示出良好的迁移能力。
📝 摘要（中文）
泊车是自动驾驶车辆在城市环境中一项常规但至关重要的任务。然而，杂乱且结构不清晰的停车空间，以及周围车辆的交互不确定性，阻碍了可靠的操控生成。为了解决这些挑战，本文开发了一种基于航点的离线强化学习框架，专注于交互感知的自动泊车。具体而言，构建了一个专用的停车数据集，涵盖了非交互和交互场景。该策略基于紧凑的状态表示，并通过特征线性调制将LiDAR障碍物特征适配到目标姿态。状态条件的分词器将连续航点序列量化为离散动作标记，采用保守Q学习抑制对不良支持动作的价值高估。在高保真CARLA模拟器中进行了广泛的闭环实验，所提出的框架在所有基线中获得了最高的停车成功率，并能可靠地迁移到未见过的停车位。
🔬 方法详解
问题定义：本文旨在解决自动驾驶车辆在城市环境中泊车时面临的复杂性和不确定性问题。现有方法在处理杂乱停车空间和周围车辆交互时，往往无法生成可靠的操控策略。
核心思路：论文提出了一种基于航点的离线强化学习框架，利用构建的停车数据集和特征线性调制技术，增强了对环境的感知和决策能力。通过量化连续航点序列为离散动作标记，提升了策略的有效性。
技术框架：整体架构包括数据集构建、状态表示、策略学习和实验验证四个主要模块。首先，通过专家回放生成数据集，然后利用LiDAR特征进行状态表示，最后通过保守Q学习进行策略优化。
关键创新：最重要的技术创新在于引入了状态条件的分词器，将连续航点序列量化为离散动作标记，并采用保守Q学习来抑制对不良支持动作的价值高估，这在现有方法中尚属首次。
关键设计：在参数设置上，采用了特征线性调制来适配LiDAR特征，损失函数设计上注重对价值高估的抑制，网络结构则结合了深度学习与强化学习的优势，确保了策略的稳定性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的框架在CARLA模拟器中实现了最高的停车成功率，超过了所有基线方法，并且在未见过的停车位上也表现出良好的迁移能力，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶汽车的泊车系统、智能交通管理以及城市环境下的机器人导航。通过提升自动泊车的可靠性，该框架能够显著减少交通事故，提高城市交通效率，具有重要的实际价值和社会影响。
📄 摘要（原文）
Parking is a routine yet safety-critical task for autonomous vehicles operating in urban environments. However, cluttered and weakly structured parking spaces, compounded by the interactive uncertainty from surrounding vehicles, hinder reliable maneuver generation. To address these challenges, we develop a waypoint-level offline reinforcement learning framework for interaction-aware autonomous parking. Specifically, a dedicated parking dataset is constructed from hierarchical expert rollouts with rotational waypoint augmentation, covering both non-interactive scenarios and interactive ones. The policy is then conditioned on a compact state representation, in which LiDAR-based obstacle features are adapted to the target pose via feature-wise linear modulation. A state-conditioned tokenizer further quantizes continuous waypoint sequences into discrete action tokens, over which conservative Q-learning is performed to suppress value overestimation on poorly supported actions. Extensive closed-loop experiments are conducted in the high-fidelity CARLA simulator. The proposed framework attains the highest parking success rate among all baselines and transfers reliably to unseen parking slots.