DriveGPT4: Interpretable End-to-end Autonomous Driving via Large Language Model

📄 arXiv: 2310.01412v5 📥 PDF

作者: Zhenhua Xu, Yujia Zhang, Enze Xie, Zhen Zhao, Yong Guo, Kwan-Yee. K. Wong, Zhenguo Li, Hengshuang Zhao

分类: cs.CV, cs.RO

发布日期: 2023-10-02 (更新: 2024-11-09)

备注: Accepted by RA-L. The project page is available at https://tonyxuqaq.github.io/projects/DriveGPT4/

💡 一句话要点

提出DriveGPT4以解决自主驾驶中的可解释性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大型语言模型 自主驾驶 可解释性 端到端系统 视觉指令调优 混合微调 车辆控制信号 决策推理

📋 核心要点

  1. 现有自主驾驶系统在处理复杂场景时缺乏可解释性，难以理解车辆行为的决策过程。
  2. DriveGPT4通过结合多模态输入和文本查询，提供了一个可解释的端到端自主驾驶解决方案，能够实时推理和解释车辆动作。
  3. 在BDD-X数据集上的实验表明，DriveGPT4在性能上优于现有方法，尤其是在自主驾驶的准确性和可解释性方面。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在处理和推理非文本数据方面表现出色。本研究旨在将MLLMs应用于自主驾驶领域，提出了DriveGPT4，一个基于大型语言模型的可解释端到端自主驾驶系统。DriveGPT4能够处理多帧视频输入和文本查询，解释车辆行为，提供相关推理，并有效回答用户提出的多种问题。此外，DriveGPT4以端到端的方式预测低级车辆控制信号。这些先进能力通过专门为自主驾驶应用定制的视觉指令调优数据集和混合微调训练策略实现。DriveGPT4是首次利用LLMs开发可解释的端到端自主驾驶解决方案。对BDD-X数据集的评估显示DriveGPT4在定性和定量性能上均表现优越，且在与GPT4-V对比时，DriveGPT4在自主驾驶基础上取得了接近或更优的结果。

🔬 方法详解

问题定义：本论文旨在解决自主驾驶系统在复杂场景下的可解释性问题。现有方法通常缺乏对车辆决策过程的透明性，导致用户难以理解系统的行为和反应。

核心思路：DriveGPT4的核心思路是结合多模态输入（视频和文本）来实现对车辆行为的解释和推理。通过利用大型语言模型的强大推理能力，DriveGPT4能够在处理复杂驾驶场景时提供清晰的决策依据。

技术框架：DriveGPT4的整体架构包括多个模块：首先是多帧视频输入处理模块，其次是文本查询解析模块，接着是决策推理模块，最后是低级控制信号预测模块。整个流程实现了从输入到输出的端到端处理。

关键创新：DriveGPT4的主要创新在于首次将大型语言模型应用于自主驾驶领域，特别是在可解释性方面的突破。与传统方法相比，DriveGPT4能够提供更为详尽的决策解释，增强了用户的信任感。

关键设计：在技术细节上，DriveGPT4采用了专门设计的视觉指令调优数据集，并结合混合微调策略，以优化模型在自主驾驶任务中的表现。关键参数设置和损失函数的选择也经过精心设计，以确保模型的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DriveGPT4在BDD-X数据集上的表现优于现有的自主驾驶模型，尤其在可解释性和决策准确性方面。具体而言，DriveGPT4在多个评估指标上实现了显著提升，尤其是在与GPT4-V的对比中，表现出更高的自主驾驶基础准确性。

🎯 应用场景

DriveGPT4的潜在应用场景包括智能交通系统、自动驾驶汽车及其相关服务。该系统不仅可以提高车辆的自主驾驶能力，还能增强用户对自动驾驶技术的信任，推动智能交通的普及与发展。未来，DriveGPT4可能在城市交通管理、物流配送等领域发挥重要作用。

📄 摘要（原文）

Multimodal large language models (MLLMs) have emerged as a prominent area of interest within the research community, given their proficiency in handling and reasoning with non-textual data, including images and videos. This study seeks to extend the application of MLLMs to the realm of autonomous driving by introducing DriveGPT4, a novel interpretable end-to-end autonomous driving system based on LLMs. Capable of processing multi-frame video inputs and textual queries, DriveGPT4 facilitates the interpretation of vehicle actions, offers pertinent reasoning, and effectively addresses a diverse range of questions posed by users. Furthermore, DriveGPT4 predicts low-level vehicle control signals in an end-to-end fashion.These advanced capabilities are achieved through the utilization of a bespoke visual instruction tuning dataset, specifically tailored for autonomous driving applications, in conjunction with a mix-finetuning training strategy. DriveGPT4 represents the pioneering effort to leverage LLMs for the development of an interpretable end-to-end autonomous driving solution. Evaluations conducted on the BDD-X dataset showcase the superior qualitative and quantitative performance of DriveGPT4. Additionally, the fine-tuning of domain-specific data enables DriveGPT4 to yield close or even improved results in terms of autonomous driving grounding when contrasted with GPT4-V.