Traffic expertise meets residual RL: Knowledge-informed model-based residual reinforcement learning for CAV trajectory control

📄 arXiv: 2408.17380v2 📥 PDF

作者: Zihao Sheng, Zilin Huang, Sikai Chen

分类: cs.AI, cs.LG

发布日期: 2024-08-30 (更新: 2025-02-03)

备注: Accepted by Communications in Transportation Research

期刊: Communications in Transportation Research 4 (2024): 100142

DOI: 10.1016/j.commtr.2024.100142

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出知识驱动的残差强化学习框架，用于提升混行交通中 CAV 轨迹控制效率。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 模型预测控制 智能交通 自动驾驶 交通流优化

📋 核心要点

  1. 传统基于模型的强化学习在复杂环境下难以获得足够精确的环境动力学模型，导致样本效率降低。
  2. 该论文提出一种知识驱动的残差强化学习框架，将交通专家知识融入环境模型，并结合传统控制方法与残差强化学习。
  3. 实验结果表明，该方法在混行交通流中 CAV 轨迹控制任务中，显著提升了样本效率、交通流平稳性和交通移动性。

📝 摘要（中文）

本文提出了一种知识驱动的模型残差强化学习框架，旨在通过将已有的专家知识融入学习过程来提高学习效率，避免从零开始学习。该方法将交通专家知识集成到虚拟环境模型中，利用智能驾驶模型（IDM）进行基本动力学建模，并使用神经网络进行残差动力学建模，从而确保对复杂场景的适应性。提出了一种将传统控制方法与残差强化学习相结合的新策略，无需从头学习即可实现高效学习和策略优化。该方法应用于混合交通流中 CAV 轨迹控制任务，以缓解走走停停的交通波。实验结果表明，与基线方法相比，该方法在样本效率、交通流平稳性和交通移动性方面均能使 CAV 智能体在轨迹控制中获得更优越的性能。

🔬 方法详解

问题定义：论文旨在解决混行交通流中，如何高效学习 CAV (Connected and Automated Vehicle) 的轨迹控制策略，以缓解交通拥堵和提高交通效率的问题。现有基于模型的强化学习方法，由于环境动力学建模的复杂性和不确定性，难以获得足够精确的模型，导致样本效率低，训练时间长。从零开始学习策略也限制了其优越性。

核心思路：论文的核心思路是将已有的交通专家知识融入到强化学习过程中，避免从零开始学习。具体而言，利用智能驾驶模型（IDM）等成熟的交通模型来描述基本的车辆动力学，然后使用神经网络来学习残差动力学，从而弥补IDM模型的不足，提高环境模型的精度。同时，结合传统控制方法与残差强化学习，加速策略学习和优化。

技术框架：该框架主要包含以下几个模块：1) 环境模型：由IDM模型和残差神经网络组成，IDM模型负责基本动力学建模，神经网络负责学习残差动力学。2) 强化学习智能体：采用残差强化学习算法，利用环境模型进行策略学习和优化。3) 传统控制器：用于提供初始的控制策略，并与强化学习智能体进行集成。整体流程是：首先利用IDM模型和传统控制器初始化策略，然后利用残差强化学习智能体在环境模型中进行训练，不断优化策略，最终实现高效的CAV轨迹控制。

关键创新：该论文的关键创新在于：1) 知识驱动的残差建模：将交通专家知识（IDM模型）融入到环境模型中，并使用神经网络学习残差动力学，提高了环境模型的精度和泛化能力。2) 传统控制与残差强化学习的结合：利用传统控制器提供初始策略，加速了强化学习的收敛速度，避免了从零开始学习。

关键设计：1) 残差神经网络结构：具体网络结构未知，但其目标是学习IDM模型无法捕捉的复杂交通动力学。2) 损失函数设计：损失函数的设计需要考虑交通流的平稳性、车辆的安全性以及控制的效率。具体形式未知。3) 强化学习算法选择：论文采用残差强化学习算法，具体算法类型未知，但需要能够有效地利用环境模型进行策略学习和优化。4) IDM模型参数：需要根据具体的交通场景进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在混行交通流中，能够显著提升 CAV 轨迹控制的性能。与基线方法相比，该方法在样本效率、交通流平稳性和交通移动性方面均取得了显著提升。具体性能数据未知，但论文强调了其优越性，表明该方法在实际应用中具有很大的潜力。

🎯 应用场景

该研究成果可应用于智能交通系统、自动驾驶车辆控制等领域。通过优化 CAV 的轨迹，可以有效缓解交通拥堵，提高道路通行效率，降低能源消耗和尾气排放。未来，该方法可以推广到更复杂的交通场景，例如城市道路网络、高速公路等，为构建更加智能、高效、绿色的交通系统提供技术支持。

📄 摘要（原文）

Model-based reinforcement learning (RL) is anticipated to exhibit higher sample efficiency compared to model-free RL by utilizing a virtual environment model. However, it is challenging to obtain sufficiently accurate representations of the environmental dynamics due to uncertainties in complex systems and environments. An inaccurate environment model may degrade the sample efficiency and performance of model-based RL. Furthermore, while model-based RL can improve sample efficiency, it often still requires substantial training time to learn from scratch, potentially limiting its advantages over model-free approaches. To address these challenges, this paper introduces a knowledge-informed model-based residual reinforcement learning framework aimed at enhancing learning efficiency by infusing established expert knowledge into the learning process and avoiding the issue of beginning from zero. Our approach integrates traffic expert knowledge into a virtual environment model, employing the Intelligent Driver Model (IDM) for basic dynamics and neural networks for residual dynamics, thus ensuring adaptability to complex scenarios. We propose a novel strategy that combines traditional control methods with residual RL, facilitating efficient learning and policy optimization without the need to learn from scratch. The proposed approach is applied to CAV trajectory control tasks for the dissipation of stop-and-go waves in mixed traffic flow. Experimental results demonstrate that our proposed approach enables the CAV agent to achieve superior performance in trajectory control compared to the baseline agents in terms of sample efficiency, traffic flow smoothness and traffic mobility. The source code and supplementary materials are available at: https://zihaosheng.github.io/traffic-expertise-RL/.