Exposing the Copycat Problem of Imitation-based Planner: A Novel Closed-Loop Simulator, Causal Benchmark and Joint IL-RL Baseline

📄 arXiv: 2504.14709v1 📥 PDF

作者: Hui Zhou, Shaoshuai Shi, Hongsheng Li

分类: cs.CV, cs.AI

发布日期: 2025-04-20

💡 一句话要点

提出闭环模拟器与因果基准，解决模仿学习规划器的“抄袭”问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模仿学习 强化学习 自动驾驶 闭环模拟器 因果推理

📋 核心要点

  1. 模仿学习规划器在开环测试中表现良好，但难以判断其是否真正理解驾驶原理，容易过度拟合常见场景。
  2. 论文提出闭环模拟器和因果基准，用于评估模仿学习规划器的“抄袭”问题，并提出模仿学习与强化学习相结合的框架。
  3. 该框架旨在克服纯模仿学习的局限性，提高规划器在罕见或未见场景中的泛化能力，代码即将开源。

📝 摘要（中文）

基于机器学习的规划器近年来备受关注，它们相比于传统的基于优化的规划算法具有更少的手动选择参数和更快的开发速度等优势。在基于机器学习的规划中，模仿学习（IL）是一种常见的算法，它主要直接从监督轨迹数据中学习驾驶策略。虽然模仿学习在许多开环基准测试中表现出强大的性能，但它仍然难以确定学习到的策略是否真正理解了基本的驾驶原则，而不仅仅是从自我车辆的初始状态进行推断。一些研究已经发现了这种局限性，并提出了解决该问题的算法。然而，这些方法通常使用原始数据集进行评估。在这些数据集中，未来的轨迹在很大程度上取决于初始条件。此外，模仿学习通常过度拟合最常见的场景，难以推广到罕见或未见过的情况。为了解决这些挑战，这项工作提出了：1）一种新的闭环模拟器，支持模仿学习和强化学习，2）一个从Waymo开放数据集导出的因果基准，用于严格评估抄袭问题的影响，以及3）一个集成模仿学习和强化学习的新框架，以克服纯粹模仿方法的局限性。该工作的代码即将发布。

🔬 方法详解

问题定义：模仿学习（IL）在驾驶规划中面临“抄袭”问题，即模型可能只是记忆训练数据中的轨迹，而没有真正理解驾驶规则。现有方法难以有效评估和解决这一问题，因为评估数据集中的未来轨迹往往高度依赖初始条件，且IL容易过拟合常见场景，导致在罕见场景下表现不佳。

核心思路：论文的核心思路是通过构建一个闭环模拟器和因果基准，来更严格地评估模仿学习规划器的泛化能力和对因果关系的理解。同时，结合模仿学习和强化学习，利用强化学习探索更多样的场景，从而提高模型的鲁棒性和泛化能力。

技术框架：整体框架包含三个主要部分：1）闭环模拟器：用于生成更真实的驾驶环境，允许智能体与环境交互，并根据其行为产生反馈。2）因果基准：基于Waymo开放数据集构建，旨在评估模型对特定因果关系的理解，例如改变交通信号灯颜色对车辆行为的影响。3）联合IL-RL框架：首先使用模仿学习初始化策略，然后使用强化学习进行微调，以探索更多样化的场景并提高泛化能力。

关键创新：论文的关键创新在于提出了一个闭环模拟器和因果基准，能够更有效地评估模仿学习规划器的“抄袭”问题。与传统的开环评估方法相比，闭环模拟器能够模拟更真实的驾驶环境，并允许智能体与环境交互，从而更好地评估模型的泛化能力。因果基准则能够评估模型对特定因果关系的理解，例如交通信号灯变化对车辆行为的影响。

关键设计：闭环模拟器需要精确建模车辆动力学、传感器噪声和交通参与者的行为。因果基准的设计需要仔细选择场景和干预措施，以确保能够有效地评估模型对因果关系的理解。联合IL-RL框架的关键在于平衡模仿学习和强化学习的权重，以及设计合适的奖励函数，以鼓励智能体学习更安全、更高效的驾驶策略。具体的参数设置、损失函数和网络结构等技术细节在论文中未明确给出，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出了一个闭环模拟器和因果基准，能够更有效地评估模仿学习规划器的“抄袭”问题。虽然论文中没有给出具体的性能数据和提升幅度，但该研究为评估和改进模仿学习规划器提供了一个新的思路和工具。

🎯 应用场景

该研究成果可应用于自动驾驶系统的开发和测试，尤其是在提高自动驾驶系统在复杂和罕见场景下的安全性和可靠性方面。通过闭环模拟器和因果基准，可以更有效地评估和改进自动驾驶系统的规划能力，从而加速自动驾驶技术的落地。

📄 摘要（原文）

Machine learning (ML)-based planners have recently gained significant attention. They offer advantages over traditional optimization-based planning algorithms. These advantages include fewer manually selected parameters and faster development. Within ML-based planning, imitation learning (IL) is a common algorithm. It primarily learns driving policies directly from supervised trajectory data. While IL has demonstrated strong performance on many open-loop benchmarks, it remains challenging to determine if the learned policy truly understands fundamental driving principles, rather than simply extrapolating from the ego-vehicle's initial state. Several studies have identified this limitation and proposed algorithms to address it. However, these methods often use original datasets for evaluation. In these datasets, future trajectories are heavily dependent on initial conditions. Furthermore, IL often overfits to the most common scenarios. It struggles to generalize to rare or unseen situations. To address these challenges, this work proposes: 1) a novel closed-loop simulator supporting both imitation and reinforcement learning, 2) a causal benchmark derived from the Waymo Open Dataset to rigorously assess the impact of the copycat problem, and 3) a novel framework integrating imitation learning and reinforcement learning to overcome the limitations of purely imitative approaches. The code for this work will be released soon.