A Hybrid Input based Deep Reinforcement Learning for Lane Change Decision-Making of Autonomous Vehicle

📄 arXiv: 2509.01611v1 📥 PDF

作者: Ziteng Gao, Jiaqi Qu, Chaoyu Chen

分类: cs.RO

发布日期: 2025-09-01

💡 一句话要点

提出一种混合输入深度强化学习算法，用于提升自动驾驶车辆的变道决策安全性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自动驾驶 变道决策 深度强化学习 轨迹预测 多模态融合

📋 核心要点

  1. 自动驾驶车辆的变道决策是一个复杂但高回报的行为，现有方法在安全性方面仍有提升空间。
  2. 该论文提出了一种混合输入深度强化学习算法，融合周围车辆轨迹预测和多模态环境信息，提升决策合理性。
  3. 在CARLA模拟器中的实验表明，该方法利用混合状态空间能够显著提高车辆变道决策的安全性。

📝 摘要（中文）

本文提出了一种基于混合输入的深度强化学习（DRL）算法，旨在实现自动驾驶车辆在交通流中的抽象变道决策和变道动作。首先，提出了一种周围车辆轨迹预测方法，以降低周围车辆未来行为对本车造成的风险，并将预测结果作为附加信息输入到强化学习模型中。其次，为了全面利用环境信息，该模型同时提取高维图像和低维传感器数据的特征。周围车辆轨迹预测和多模态信息的融合被用作强化学习的状态空间，以提高变道决策的合理性。最后，我们将强化学习宏观决策与端到端车辆控制相结合，以实现整体的变道过程。在CARLA模拟器中进行的实验结果表明，利用混合状态空间可以显著提高车辆变道决策的安全性。

🔬 方法详解

问题定义：自动驾驶车辆的变道决策需要在复杂交通环境中保证安全性和效率。现有方法可能无法充分利用环境信息，导致变道决策不够合理，存在安全风险。此外，如何将高层次的决策与底层的车辆控制有效结合也是一个挑战。

核心思路：论文的核心思路是将周围车辆的轨迹预测信息与多模态传感器数据融合，作为深度强化学习的状态空间，从而使智能体能够更全面地了解环境，做出更合理的变道决策。同时，将强化学习的宏观决策与端到端的车辆控制相结合，实现整体的变道过程。

技术框架：该方法的技术框架主要包括以下几个模块：1) 周围车辆轨迹预测模块，用于预测周围车辆的未来轨迹；2) 多模态信息提取模块，用于提取高维图像和低维传感器数据的特征；3) 深度强化学习决策模块，基于融合的状态空间进行变道决策；4) 端到端车辆控制模块，根据强化学习的决策结果控制车辆执行变道动作。整体流程是：首先，通过轨迹预测和多模态信息提取获取环境状态；然后，利用深度强化学习模型进行变道决策；最后，通过端到端控制实现车辆的变道动作。

关键创新：该论文的关键创新在于：1) 提出了将周围车辆轨迹预测信息融入强化学习状态空间的方法，从而使智能体能够更好地预测潜在风险；2) 采用了多模态信息融合的方法，综合利用图像和传感器数据，更全面地感知环境；3) 将强化学习宏观决策与端到端车辆控制相结合，实现了整体的变道过程。

关键设计：论文中可能涉及的关键设计包括：1) 轨迹预测模型的具体结构和训练方法；2) 多模态信息融合的具体方式，例如特征拼接或注意力机制；3) 深度强化学习算法的选择，例如DQN、DDPG或SAC，以及相应的奖励函数设计；4) 端到端车辆控制器的设计，例如PID控制或模型预测控制。

📊 实验亮点

实验结果表明，利用混合状态空间可以显著提高车辆变道决策的安全性。具体性能数据（例如碰撞率、成功率等）和对比基线（例如传统PID控制、其他强化学习算法等）的提升幅度未知，需要在论文中查找具体数据。

🎯 应用场景

该研究成果可应用于自动驾驶车辆的变道决策系统，提高车辆在复杂交通环境中的行驶安全性和效率。此外，该方法也可推广到其他自动驾驶任务中，例如跟车、超车等，具有广阔的应用前景和实际价值。未来，该研究可以进一步扩展到更复杂的交通场景，例如城市道路、高速公路等。

📄 摘要（原文）

Lane change decision-making for autonomous vehicles is a complex but high-reward behavior. In this paper, we propose a hybrid input based deep reinforcement learning (DRL) algorithm, which realizes abstract lane change decisions and lane change actions for autonomous vehicles within traffic flow. Firstly, a surrounding vehicles trajectory prediction method is proposed to reduce the risk of future behavior of surrounding vehicles to ego vehicle, and the prediction results are input into the reinforcement learning model as additional information. Secondly, to comprehensively leverage environmental information, the model extracts feature from high-dimensional images and low-dimensional sensor data simultaneously. The fusion of surrounding vehicle trajectory prediction and multi-modal information are used as state space of reinforcement learning to improve the rationality of lane change decision. Finally, we integrate reinforcement learning macro decisions with end-to-end vehicle control to achieve a holistic lane change process. Experiments were conducted within the CARLA simulator, and the results demonstrated that the utilization of a hybrid state space significantly enhances the safety of vehicle lane change decisions.