Large Language Models for Human-like Autonomous Driving: A Survey

📄 arXiv: 2407.19280v1 📥 PDF

作者: Yun Li, Kai Katsumata, Ehsan Javanmardi, Manabu Tsukada

分类: cs.AI, cs.RO

发布日期: 2024-07-27

备注: 8 pages, 2 figures, accepted at IEEE Intelligent Transportation Systems Conference (ITSC) 2024

💡 一句话要点

综述：利用大型语言模型实现类人自动驾驶

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 自动驾驶 类人驾驶 深度学习 智能交通 环境感知 行为预测

📋 核心要点

  1. 现有自动驾驶系统在复杂环境下的决策能力不足，难以像人类驾驶员一样进行推理和规划。
  2. 该综述探讨了如何利用大型语言模型（LLMs）的强大语言理解和生成能力，赋能自动驾驶系统，使其更接近人类驾驶行为。
  3. 该综述分析了LLMs在模块化和端到端自动驾驶系统中的应用，并指出了当前面临的挑战和未来的研究方向。

📝 摘要（中文）

大型语言模型（LLMs）是在海量文本语料库上训练的人工智能模型，具有卓越的语言理解和生成能力，正在改变自动驾驶（AD）领域。随着自动驾驶系统从基于规则和优化的方法发展到基于学习的技术（如深度强化学习），它们现在准备好迎接第三个也是更高级的类别：由LLM赋能的基于知识的自动驾驶。这种转变有望使自动驾驶更接近类人自动驾驶。然而，将LLM集成到自动驾驶系统中，在实时推理、安全保证和部署成本方面带来了挑战。本综述全面而批判性地回顾了利用LLM进行自动驾驶的最新进展，重点关注其在模块化自动驾驶流水线和端到端自动驾驶系统中的应用。我们强调了关键进展，确定了紧迫的挑战，并提出了有希望的研究方向，以弥合LLM和自动驾驶之间的差距，从而促进更类人自动驾驶系统的开发。本综述首先介绍了LLM的关键特征和常见的训练方案，然后分别深入研究了它们在模块化自动驾驶流水线和端到端自动驾驶中的应用，随后讨论了开放的挑战和未来的方向。通过这种深入的分析，我们旨在为在人工智能和自动驾驶汽车交叉领域工作的研究人员和从业人员提供见解和启发，最终为更安全、更智能和更以人为中心的自动驾驶技术做出贡献。

🔬 方法详解

问题定义：自动驾驶系统需要在复杂和动态的环境中做出决策，传统的基于规则或优化的方法难以处理所有情况。深度学习方法虽然有所改进，但在理解场景语义和进行高级推理方面仍然存在局限性。因此，如何使自动驾驶系统具备更强的环境理解和推理能力，从而实现更安全、更智能的驾驶是亟待解决的问题。

核心思路：利用大型语言模型（LLMs）的强大语言理解和生成能力，将自然语言处理技术引入自动驾驶领域。LLMs可以理解复杂的驾驶场景描述，并生成相应的驾驶指令或行为规划，从而提高自动驾驶系统的决策能力和适应性。

技术框架：该综述将LLMs在自动驾驶中的应用分为两类：模块化自动驾驶流水线和端到端自动驾驶系统。在模块化流水线中，LLMs可以用于感知、预测、规划等各个模块，例如，LLMs可以用于理解交通规则、预测其他车辆的行为、生成驾驶指令等。在端到端系统中，LLMs直接将传感器数据映射到车辆控制指令，实现端到端的自动驾驶。

关键创新：该综述的关键创新在于系统性地总结了LLMs在自动驾驶领域的应用，并指出了当前研究的挑战和未来的发展方向。它强调了LLMs在提高自动驾驶系统环境理解和推理能力方面的潜力，并为未来的研究提供了指导。

关键设计：该综述没有涉及具体的技术细节，而是侧重于对现有研究的总结和分析。它讨论了LLMs在不同自动驾驶模块中的应用，并分析了不同方法的优缺点。此外，该综述还讨论了LLMs在自动驾驶中面临的挑战，例如实时推理、安全保证和部署成本等。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

该综述总结了近年来LLMs在自动驾驶领域的应用进展，涵盖了模块化流水线和端到端系统。虽然没有提供具体的性能数据，但强调了LLMs在感知、预测和规划等任务中的潜力，并指出了未来研究方向，例如如何提高LLMs的实时推理能力和安全保证。

🎯 应用场景

该研究成果可应用于各种自动驾驶场景，包括城市道路、高速公路和越野环境。通过提升自动驾驶系统的环境理解和推理能力，可以提高驾驶安全性、减少交通事故，并最终实现更高效、更智能的交通运输系统。此外，该研究还可以促进人机协作驾驶技术的发展，使驾驶员和自动驾驶系统能够更好地协同工作。

📄 摘要（原文）

Large Language Models (LLMs), AI models trained on massive text corpora with remarkable language understanding and generation capabilities, are transforming the field of Autonomous Driving (AD). As AD systems evolve from rule-based and optimization-based methods to learning-based techniques like deep reinforcement learning, they are now poised to embrace a third and more advanced category: knowledge-based AD empowered by LLMs. This shift promises to bring AD closer to human-like AD. However, integrating LLMs into AD systems poses challenges in real-time inference, safety assurance, and deployment costs. This survey provides a comprehensive and critical review of recent progress in leveraging LLMs for AD, focusing on their applications in modular AD pipelines and end-to-end AD systems. We highlight key advancements, identify pressing challenges, and propose promising research directions to bridge the gap between LLMs and AD, thereby facilitating the development of more human-like AD systems. The survey first introduces LLMs' key features and common training schemes, then delves into their applications in modular AD pipelines and end-to-end AD, respectively, followed by discussions on open challenges and future directions. Through this in-depth analysis, we aim to provide insights and inspiration for researchers and practitioners working at the intersection of AI and autonomous vehicles, ultimately contributing to safer, smarter, and more human-centric AD technologies.