PPO-Based Vehicle Control for Ramp Merging Scheme Assisted by Enhanced C-V2X

📄 arXiv: 2501.12656v2 📥 PDF

作者: Qiong Wu, Maoxin Ji, Pingyi Fan, Kezhi Wang, Nan Cheng, Wen Chen, Khaled B. Letaief

分类: cs.NI, cs.LG

发布日期: 2025-01-22 (更新: 2025-06-16)

备注: This paper has been submitted to IEEE Journal. The source code has been released at: https://github.com/qiongwu86/PPO-Based-Vehicle-Control-for-Ramp-Merging-Scheme-Assisted-by-Enhanced-C-V2X

💡 一句话要点

提出基于PPO和增强C-V2X的匝道汇入车辆控制方案，提升安全性与效率。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 匝道汇入 自动驾驶 强化学习 PPO C-V2X V2V通信 信息时效性

📋 核心要点

  1. 匝道汇入是自动驾驶的关键挑战，需要车辆动态调整位置和速度，同时监测主路交通以避免碰撞。
  2. 论文提出基于强化学习的匝道汇入控制方案，结合横向控制和优化的C-V2X通信协议。
  3. 仿真结果表明，增强的C-V2X协议降低了信息时效性，提出的控制方案保证了匝道汇入的安全性和可靠性。

📝 摘要（中文）

本文提出了一种基于强化学习的匝道汇入控制方案，并集成了横向控制机制，旨在实现车辆从匝道平稳汇入主路，优化燃油效率和乘客舒适度。同时，考虑到车间通信（V2V）对控制策略的影响，引入了增强的基于蜂窝车联网（C-V2X）Mode 4协议，以降低信息时效性（AoI）并提高通信可靠性。通过NS3网络仿真器与Python的联合仿真，模拟了V2V通信和车辆控制。仿真结果表明，增强的C-V2X Mode 4协议优于标准版本，且所提出的控制方案能够确保匝道汇入过程中车辆的安全可靠运行。论文使用基于AoI的指标来评估协议在自动驾驶场景中的有效性。

🔬 方法详解

问题定义：匝道汇入场景下，自动驾驶车辆需要安全、高效地从匝道汇入主路。现有方法可能存在通信延迟高、信息不准确等问题，导致车辆控制策略失效，影响安全性、燃油效率和乘客舒适度。因此，需要一种能够应对通信挑战，并实现平稳汇入的控制方案。

核心思路：论文的核心思路是结合强化学习和优化的C-V2X通信协议，设计一种匝道汇入控制方案。强化学习用于学习最优的车辆控制策略，C-V2X通信用于提供实时的交通信息，两者结合可以提高车辆的感知能力和决策能力，从而实现安全、高效的汇入。

技术框架：整体框架包括三个主要部分：1) 车辆控制模块，基于PPO强化学习算法，学习车辆的纵向和横向控制策略；2) C-V2X通信模块，使用增强的Mode 4协议，降低信息时效性，提高通信可靠性；3) 仿真环境，使用NS3网络仿真器和Python联合仿真，模拟V2V通信和车辆控制。车辆控制模块接收来自C-V2X通信模块的交通信息，并根据PPO算法输出控制指令，控制车辆的运动。

关键创新：论文的关键创新在于：1) 提出了一种基于PPO的匝道汇入控制方案，能够学习最优的车辆控制策略；2) 引入了增强的C-V2X Mode 4协议，降低了信息时效性，提高了通信可靠性；3) 将车辆控制和通信仿真相结合，更真实地模拟了匝道汇入场景。与现有方法相比，该方法能够更好地应对通信挑战，提高汇入的安全性和效率。

关键设计：PPO算法使用Actor-Critic结构，Actor网络输出车辆的控制指令（例如，加速度和转向角），Critic网络评估当前状态的价值。损失函数包括Actor损失、Critic损失和熵正则化项。C-V2X Mode 4协议通过调整参数，例如传输功率和信道接入概率，来降低信息时效性。仿真环境使用SUMO进行车辆运动模拟，并使用NS3进行V2V通信模拟。论文使用了两个基于AoI的指标来评估协议的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

仿真结果表明，增强的C-V2X Mode 4协议相比标准版本，显著降低了信息时效性（AoI），提高了通信可靠性。同时，基于PPO的控制方案能够确保车辆在匝道汇入过程中的安全可靠运行，避免碰撞，并优化燃油效率和乘客舒适度。具体性能提升数据未知，但仿真结果验证了所提出方案的有效性。

🎯 应用场景

该研究成果可应用于自动驾驶车辆的匝道汇入系统，提高车辆在复杂交通环境下的安全性和通行效率。此外，增强的C-V2X通信协议也可应用于其他需要低延迟、高可靠性通信的场景，例如车队管理、协同驾驶等。未来，该研究可以扩展到更复杂的交通场景，例如城市道路、高速公路等。

📄 摘要（原文）

On-ramp merging presents a critical challenge in autonomous driving, as vehicles from merging lanes need to dynamically adjust their positions and speeds while monitoring traffic on the main road to prevent collisions. To address this challenge, we propose a novel merging control scheme based on reinforcement learning, which integrates lateral control mechanisms. This approach ensures the smooth integration of vehicles from the merging lane onto the main road, optimizing both fuel efficiency and passenger comfort. Furthermore, we recognize the impact of vehicle-to-vehicle (V2V) communication on control strategies and introduce an enhanced protocol leveraging Cellular Vehicle-to-Everything (C-V2X) Mode 4. This protocol aims to reduce the Age of Information (AoI) and improve communication reliability. In our simulations, we employ two AoI-based metrics to rigorously assess the protocol's effectiveness in autonomous driving scenarios. By combining the NS3 network simulator with Python, we simulate V2V communication and vehicle control simultaneously. The results demonstrate that the enhanced C-V2X Mode 4 outperforms the standard version, while the proposed control scheme ensures safe and reliable vehicle operation during on-ramp merging.