CarDreamer: Open-Source Learning Platform for World Model based Autonomous Driving

📄 arXiv: 2405.09111v2 📥 PDF

作者: Dechen Gao, Shuangyu Cai, Hanchu Zhou, Hang Wang, Iman Soltani, Junshan Zhang

分类: cs.RO, cs.AI

发布日期: 2024-05-15 (更新: 2024-07-25)

备注: Dechen Gao, Shuangyu Cai, Hanchu Zhou, Hang Wang contributed equally

🔗 代码/项目: GITHUB

💡 一句话要点

CarDreamer：用于世界模型自动驾驶的开源学习平台

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自动驾驶 世界模型 强化学习 开源平台 仿真环境

📋 核心要点

  1. 现有自动驾驶方法难以适应复杂环境，缺乏有效学习和预测环境动态的能力，限制了其在真实世界中的应用。
  2. CarDreamer平台通过集成先进世界模型、提供可配置驾驶任务和开发套件，简化了基于世界模型的自动驾驶算法开发流程。
  3. 实验结果表明，CarDreamer平台能够有效评估世界模型在自动驾驶中的性能，并支持对观测模态等因素对安全性和效率的影响进行系统研究。

📝 摘要（中文）

为了在复杂的真实世界场景中安全导航，自动驾驶汽车必须能够适应不同的道路条件并预测未来的事件。基于世界模型（WM）的强化学习（RL）通过学习和预测各种环境的复杂动态，已成为一种有前途的方法。然而，据我们所知，目前还没有一个可访问的平台，用于在复杂的驾驶环境中训练和测试此类算法。为了填补这一空白，我们推出了CarDreamer，这是第一个专门为开发基于WM的自动驾驶算法而设计的开源学习平台。它包含三个关键组件：1）世界模型骨干：CarDreamer集成了最先进的WM，简化了RL算法的复现。该骨干与其余部分解耦，并使用标准的Gym接口进行通信，以便用户可以轻松集成和测试自己的算法。2）内置任务：CarDreamer提供了一套全面的、高度可配置的驾驶任务，这些任务与Gym接口兼容，并配备了经验优化的奖励函数。3）任务开发套件：该套件简化了驾驶任务的创建，能够轻松定义交通流和车辆路线，以及自动收集多模态观测数据。可视化服务器允许用户通过浏览器跟踪实时代理驾驶视频和性能指标。此外，我们使用内置任务进行了广泛的实验，以评估WM在自动驾驶中的性能和潜力。由于CarDreamer的丰富性和灵活性，我们还系统地研究了观测模态、可观测性和车辆意图共享对AV安全性和效率的影响。所有代码和文档都可以在https://github.com/ucd-dare/CarDreamer上找到。

🔬 方法详解

问题定义：论文旨在解决自动驾驶领域中，缺乏一个易于使用、可扩展的平台来开发和评估基于世界模型的强化学习算法的问题。现有的自动驾驶研究往往依赖于特定的仿真环境或数据集，难以进行算法的通用性和鲁棒性测试。此外，复现和比较不同的世界模型算法也面临着较高的门槛。

核心思路：论文的核心思路是构建一个开源的、模块化的自动驾驶学习平台CarDreamer，该平台集成了多种先进的世界模型，并提供了一系列可配置的驾驶任务和开发工具。通过解耦世界模型骨干和任务环境，CarDreamer允许用户轻松集成和测试自己的算法，从而加速基于世界模型的自动驾驶研究。

技术框架：CarDreamer平台主要包含三个核心模块：1) 世界模型骨干：集成了多种state-of-the-art的世界模型，并提供标准的Gym接口，方便用户集成和测试自己的算法。2) 内置任务：提供了一系列高度可配置的驾驶任务，这些任务与Gym接口兼容，并配备了经验优化的奖励函数。3) 任务开发套件：简化了驾驶任务的创建，能够轻松定义交通流和车辆路线，以及自动收集多模态观测数据。此外，平台还提供了一个可视化服务器，用于实时监控agent的驾驶行为和性能指标。

关键创新：CarDreamer的主要创新在于其作为一个开源平台的整体设计，它将世界模型、驾驶任务和开发工具集成在一起，降低了基于世界模型的自动驾驶算法的开发和评估门槛。此外，CarDreamer还提供了丰富的配置选项，允许用户自定义驾驶任务和观测模态，从而支持对自动驾驶算法的各种因素进行系统研究。

关键设计：CarDreamer的关键设计包括：1) 世界模型骨干的模块化设计，允许用户轻松替换和测试不同的世界模型。2) 基于Gym接口的任务环境，方便用户使用现有的强化学习算法。3) 任务开发套件，简化了驾驶任务的创建和配置。4) 可视化服务器，用于实时监控agent的驾驶行为和性能指标。论文中还提到，内置任务配备了经验优化的奖励函数，但具体优化细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过内置任务对CarDreamer平台进行了广泛的实验评估，展示了世界模型在自动驾驶中的潜力。此外，论文还系统地研究了观测模态、可观测性和车辆意图共享对自动驾驶安全性和效率的影响，但具体的性能数据和提升幅度未知。

🎯 应用场景

CarDreamer平台可应用于自动驾驶算法的开发、测试和验证，加速基于世界模型的自动驾驶技术的研究和应用。该平台还可用于研究不同观测模态、可观测性和车辆意图共享对自动驾驶安全性和效率的影响，为自动驾驶系统的设计和优化提供指导。

📄 摘要（原文）

To safely navigate intricate real-world scenarios, autonomous vehicles must be able to adapt to diverse road conditions and anticipate future events. World model (WM) based reinforcement learning (RL) has emerged as a promising approach by learning and predicting the complex dynamics of various environments. Nevertheless, to the best of our knowledge, there does not exist an accessible platform for training and testing such algorithms in sophisticated driving environments. To fill this void, we introduce CarDreamer, the first open-source learning platform designed specifically for developing WM based autonomous driving algorithms. It comprises three key components: 1) World model backbone: CarDreamer has integrated some state-of-the-art WMs, which simplifies the reproduction of RL algorithms. The backbone is decoupled from the rest and communicates using the standard Gym interface, so that users can easily integrate and test their own algorithms. 2) Built-in tasks: CarDreamer offers a comprehensive set of highly configurable driving tasks which are compatible with Gym interfaces and are equipped with empirically optimized reward functions. 3) Task development suite: This suite streamlines the creation of driving tasks, enabling easy definition of traffic flows and vehicle routes, along with automatic collection of multi-modal observation data. A visualization server allows users to trace real-time agent driving videos and performance metrics through a browser. Furthermore, we conduct extensive experiments using built-in tasks to evaluate the performance and potential of WMs in autonomous driving. Thanks to the richness and flexibility of CarDreamer, we also systematically study the impact of observation modality, observability, and sharing of vehicle intentions on AV safety and efficiency. All code and documents are accessible on https://github.com/ucd-dare/CarDreamer.