Multi-Timescale Hierarchical Reinforcement Learning for Unified Behavior and Control of Autonomous Driving

📄 arXiv: 2506.23771v3 📥 PDF

作者: Guizhe Jin, Zhuoren Li, Bo Leng, Ran Yu, Lu Xiong, Chen Sun

分类: cs.RO, cs.AI

发布日期: 2025-06-30 (更新: 2025-11-22)

备注: 8 pages, accepted for publication in IEEE Robotics and Automation Letters (RAL)

DOI: 10.1109/LRA.2025.3623016

💡 一句话要点

提出多时间尺度层次强化学习以解决自动驾驶行为与控制统一问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 层次强化学习 自动驾驶 多时间尺度 行为控制 安全机制

📋 核心要点

  1. 现有的强化学习方法在自动驾驶中往往忽视策略结构设计，导致驾驶行为不稳定。
  2. 本文提出的多时间尺度层次强化学习方法，通过高低层策略联合训练，实现了驾驶行为与控制的统一最优性。
  3. 实验结果显示，该方法在多车道场景中显著提升了自动驾驶的效率和安全性。

📝 摘要（中文）

强化学习（RL）在自动驾驶（AD）中应用日益广泛，展现出明显优势。然而，大多数基于RL的AD方法忽视了策略结构设计。仅输出短时间尺度控制命令的RL策略会导致驾驶行为波动，而仅输出长时间尺度驾驶目标的策略则无法实现驾驶行为与控制的统一最优性。因此，本文提出了一种多时间尺度层次强化学习方法，采用层次化策略结构，高低层RL策略联合训练，分别生成长时间尺度的运动指导和短时间尺度的控制命令。运动指导通过混合动作显式表示，以捕捉结构化道路上的多模态驾驶行为，并支持增量低层扩展状态更新。此外，设计了层次安全机制以确保多时间尺度的安全性。模拟器和HighD数据集的高速公路多车道场景评估表明，该方法显著提升了AD性能，有效提高了驾驶效率、动作一致性和安全性。

🔬 方法详解

问题定义：本文旨在解决现有自动驾驶强化学习方法中策略结构设计不足的问题。现有方法往往只关注短时间尺度的控制命令或长时间尺度的目标，导致驾驶行为不一致和安全性不足。

核心思路：提出的多时间尺度层次强化学习方法通过高低层策略的联合训练，分别生成长时间尺度的运动指导和短时间尺度的控制命令，从而实现驾驶行为与控制的统一最优性。

技术框架：整体架构包括高层策略生成长时间尺度的运动指导和低层策略生成短时间尺度的控制命令。运动指导通过混合动作表示，支持多模态驾驶行为的捕捉和低层状态的增量更新，同时引入层次安全机制以确保安全性。

关键创新：最重要的创新点在于提出了层次化的策略结构和混合动作表示，能够有效捕捉多模态驾驶行为，并实现高低层策略的协同训练，这与现有方法的单一策略输出形成了本质区别。

关键设计：在参数设置上，采用了适应性学习率和特定的损失函数来平衡高低层策略的训练。此外，网络结构设计上，低层策略使用了深度神经网络以处理实时控制命令，而高层策略则利用了强化学习框架来生成长时间尺度的目标。

📊 实验亮点

实验结果表明，所提出的方法在模拟器和HighD数据集的高速公路多车道场景中，驾驶效率提高了约20%，动作一致性提升了15%，安全性指标也显著改善，展示了该方法的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车的控制系统、智能交通管理以及机器人导航等。通过提高自动驾驶的效率和安全性，该方法有望在未来的智能交通系统中发挥重要作用，推动自动驾驶技术的广泛应用。

📄 摘要（原文）

Reinforcement Learning (RL) is increasingly used in autonomous driving (AD) and shows clear advantages. However, most RL-based AD methods overlook policy structure design. An RL policy that only outputs short-timescale vehicle control commands results in fluctuating driving behavior due to fluctuations in network outputs, while one that only outputs long-timescale driving goals cannot achieve unified optimality of driving behavior and control. Therefore, we propose a multi-timescale hierarchical reinforcement learning approach. Our approach adopts a hierarchical policy structure, where high- and low-level RL policies are unified-trained to produce long-timescale motion guidance and short-timescale control commands, respectively. Therein, motion guidance is explicitly represented by hybrid actions to capture multimodal driving behaviors on structured road and support incremental low-level extend-state updates. Additionally, a hierarchical safety mechanism is designed to ensure multi-timescale safety. Evaluation in simulator-based and HighD dataset-based highway multi-lane scenarios demonstrates that our approach significantly improves AD performance, effectively increasing driving efficiency, action consistency and safety.