REARL: A Closed-loop Autonomous Driving Simulation Enhancement Framework with Real Traffic Data and Large Language Models

📄 arXiv: 2609.19903v1 📥 PDF

作者: Xiaojun Bi, Jun Jiang, Yiwen Sun, Quanyi Ou, Ke Cheng, Mingjie Bi, Yexin Li

分类: cs.LG

发布日期: 2026-09-17

备注: 14 pages, 8 figures, 3 tables. Corresponding author: Yiwen Sun. This work was supported by the National Natural Science Foundation of China (Grant No. 62503015)

💡 一句话要点

提出REARL框架以解决自动驾驶仿真中的真实交通数据整合问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶 仿真技术 真实交通数据 大型语言模型 闭环反馈 动态调整 交通模式

📋 核心要点

  1. 核心问题：现有的自动驾驶仿真方法难以捕捉动态交通的复杂性，导致模拟结果与真实交通存在显著差异。
  2. 方法要点：REARL框架通过整合真实交通数据与大型语言模型，采用闭环反馈机制动态调整仿真配置。
  3. 实验或效果：在HighD高速公路环境中，REARL显著降低了速度分布的Hellinger距离和平均间距的MAPE，提升了仿真精度。

📝 摘要（中文）

准确的仿真对于自动驾驶的发展至关重要，但捕捉真实世界交通的复杂性仍然具有挑战性。现有的仿真器依赖于预定义规则或静态数据播放，难以应对动态交通。CRITICAL利用真实交通数据和大型语言模型（LLM）调整初始仿真配置，但随着仿真进程的演变，模拟分布仍与真实交通存在差异。本文提出REARL，一个闭环仿真增强框架，整合真实交通数据与LLM，通过聚类真实交通数据并使用聚类中心作为代表场景，提供典型的真实世界交通模式。通过时间滑动窗口检测器监测车辆速度分布和车辆间距的差异，LLM根据监测结果调整车辆决策。实验结果表明，REARL在控制的HighD高速公路环境中显著提高了仿真精度。

🔬 方法详解

问题定义：本文旨在解决现有自动驾驶仿真方法在动态交通场景下的不足，特别是如何有效整合真实交通数据以提高仿真准确性。现有方法如CRITICAL虽然使用真实数据，但在仿真过程中仍存在分布偏差。

核心思路：REARL框架的核心思路是通过闭环反馈机制，利用真实交通数据和大型语言模型（LLM）动态调整仿真配置。通过聚类真实交通数据，提取典型场景，LLM能够更好地模拟真实交通行为。

技术框架：REARL的整体架构包括数据聚类模块、LLM决策模块和反馈监测模块。首先，真实交通数据被聚类，聚类中心作为代表场景输入LLM。然后，使用时间滑动窗口检测器监测车辆速度和间距的差异，LLM根据反馈调整车辆决策。

关键创新：REARL的主要创新在于其闭环反馈机制，能够实时监测并调整仿真过程中的决策，显著提高了仿真与真实交通的匹配度。这一设计与传统的静态仿真方法形成鲜明对比。

关键设计：在设计上，REARL采用了时间滑动窗口检测器来监测车辆速度分布和间距，设定了具体的阈值以触发LLM的决策调整。此外，LLM选择与真实车辆匹配的交通快照，以便更好地调节模拟车辆的行为。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在控制的HighD高速公路环境中，REARL框架相比于CRITICAL基线和基于PPO的学习基线，速度分布的Hellinger距离降低至0.3067，平均间距的MAPE降低至0.8371，同时实现了22.8575的时间间隔（THW）和0.0708的变道率，显示出显著的性能提升。

🎯 应用场景

REARL框架在自动驾驶仿真领域具有广泛的应用潜力，能够为自动驾驶系统的开发和测试提供更真实的环境。通过提高仿真精度，REARL可加速自动驾驶技术的验证与部署，降低开发成本，提升安全性。

📄 摘要（原文）

Accurate simulation is crucial for autonomous driving development, yet capturing real-world traffic complexity remains challenging. Existing simulators that rely on predefined rules or static data playback struggle with dynamic traffic. CRITICAL uses real traffic data and a large language model (LLM) to adjust the initial simulation configuration, but the simulated distribution still diverges from real traffic as the rollout evolves. We propose REARL, a closed-loop simulation enhancement framework that integrates real traffic data with LLMs. Real traffic data are clustered, and each cluster center is used as a representative scenario that provides typical real-world traffic patterns for the LLM. A timed sliding-window detector then monitors discrepancies in vehicle speed distribution and mean spacing between pairs of vehicles. If a metric exceeds a threshold, the LLM adjusts vehicle decision-making; otherwise the existing controller is kept. The LLM also selects a matching real vehicle from a traffic snapshot and modulates the simulated vehicle with reference to that real action. In a controlled HighD highway setting, compared with the CRITICAL baseline and a PPO-based learning baseline, REARL reduces the Hellinger distance for speed distributions to 0.3067 and the MAPE for mean spacing to 0.8371, while achieving a time headway (THW) of 22.8575 and a lane change rate of 0.0708.