A Survey on Large Language Model-empowered Autonomous Driving
作者: Yuxuan Zhu, Shiyi Wang, Wenqing Zhong, Nianchen Shen, Yunqi Li, Siqi Wang, Zhiheng Li, Cathy Wu, Zhengbing He, Li Li
分类: cs.AI, cs.CL, cs.LG, cs.RO, eess.SY
发布日期: 2024-09-21 (更新: 2024-11-30)
💡 一句话要点
综述：大语言模型赋能的自动驾驶技术研究进展与挑战
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自动驾驶 大语言模型 人工智能 深度学习 智能交通
📋 核心要点
- 传统自动驾驶方法，如模块化和端到端，分别存在模块间偏差和长尾事件处理能力不足的问题。
- 该研究探索大语言模型（LLM）在自动驾驶中的应用，旨在利用LLM的推理能力和知识理解来提升系统性能。
- 论文分析了LLM在模块化和端到端自动驾驶框架中的优化策略，并讨论了LLM在实现高级别自动驾驶中的潜力与挑战。
📝 摘要（中文）
人工智能在自动驾驶（AD）研究中起着至关重要的作用，推动其向智能化和高效化发展。目前，自动驾驶技术的发展主要遵循两条技术路径：模块化和端到端。模块化将驾驶任务分解为感知、预测、规划和控制等模块，并分别进行训练。由于模块间训练目标的不一致，集成效果会受到偏差的影响。端到端试图通过使用单个模型直接将传感器数据映射到控制信号来解决这个问题。但这种方法在全面特征学习方面的能力有限，难以处理不可预测的长尾事件和复杂的城市交通场景。面对这两种路径遇到的挑战，许多研究人员认为，具有强大推理能力和广泛知识理解的大语言模型（LLM）可能是解决方案，期望LLM能够为AD系统提供更深层次的理解和决策能力。为了理解LLM是否可以增强AD，本文对LLM在AD系统中的潜在应用进行了全面分析，包括探索它们在模块化和端到端方法中的优化策略，特别关注LLM如何解决当前解决方案中存在的问题和挑战。此外，我们还讨论了一个重要问题：基于LLM的人工通用智能（AGI）是否可能是实现高级别AD的关键？我们进一步分析了LLM在促进AD技术发展中可能遇到的潜在局限性和挑战。
🔬 方法详解
问题定义：现有自动驾驶技术，无论是模块化还是端到端，都面临着各自的瓶颈。模块化方法由于各个模块训练目标不一致，导致集成后的系统性能受限。端到端方法虽然避免了模块间的偏差，但在处理复杂场景和长尾事件时表现不佳。因此，如何提升自动驾驶系统在复杂环境下的泛化能力和决策能力是一个关键问题。
核心思路：该论文的核心思路是探索利用大语言模型（LLM）的强大推理能力和丰富的知识储备来增强自动驾驶系统。LLM能够理解复杂的交通规则、驾驶习惯以及潜在的危险情况，从而做出更合理、更安全的驾驶决策。通过将LLM融入到自动驾驶系统的各个模块，可以提升系统的整体性能和鲁棒性。
技术框架：该综述分析了LLM在自动驾驶系统中的多种应用方式，包括：1) 优化模块化自动驾驶系统，例如利用LLM进行更精确的感知和预测；2) 增强端到端自动驾驶系统，例如利用LLM进行驾驶策略的生成和优化；3) 探索基于LLM的人工通用智能（AGI）在自动驾驶中的应用，例如利用LLM进行更高级别的决策和规划。
关键创新：该论文的关键创新在于系统性地分析了LLM在自动驾驶领域的潜在应用，并指出了LLM可能带来的机遇和挑战。与以往的研究不同，该论文不仅关注LLM在感知和预测等单一模块中的应用，更关注LLM在整个自动驾驶系统中的集成和优化。
关键设计：该论文是一篇综述性文章，没有提出具体的算法或模型。但是，论文讨论了LLM在自动驾驶中的一些关键设计考虑，例如如何将LLM的输出转化为可执行的控制指令，如何利用LLM处理自动驾驶中的不确定性和风险，以及如何评估LLM在自动驾驶系统中的安全性和可靠性。
📊 实验亮点
该论文是一篇综述性文章，没有提供具体的实验结果。但是，论文总结了当前LLM在自动驾驶领域的研究进展，并指出了LLM在提升自动驾驶系统性能方面的潜力。论文还讨论了LLM在自动驾驶中面临的挑战，例如数据安全、模型可靠性和计算资源需求等。
🎯 应用场景
该研究成果对自动驾驶技术的未来发展具有重要意义。通过将大语言模型融入自动驾驶系统，可以提升车辆在复杂交通环境下的安全性、可靠性和智能化水平。该技术可应用于各种自动驾驶场景，如城市道路、高速公路和物流运输等，具有广阔的应用前景。
📄 摘要（原文）
Artificial intelligence (AI) plays a crucial role in autonomous driving (AD) research, propelling its development towards intelligence and efficiency. Currently, the development of AD technology follows two main technical paths: modularization and end-to-end. Modularization decompose the driving task into modules such as perception, prediction, planning, and control, and train them separately. Due to the inconsistency of training objectives between modules, the integrated effect suffers from bias. End-to-end attempts to address this issue by utilizing a single model that directly maps from sensor data to control signals. This path has limited learning capabilities in a comprehensive set of features and struggles to handle unpredictable long-tail events and complex urban traffic scenarios. In the face of challenges encountered in both paths, many researchers believe that large language models (LLMs) with powerful reasoning capabilities and extensive knowledge understanding may be the solution, expecting LLMs to provide AD systems with deeper levels of understanding and decision-making capabilities. In light of the challenges faced by both paths, many researchers believe that LLMs, with their powerful reasoning abilities and extensive knowledge, could offer a solution. To understand if LLMs could enhance AD, this paper conducts a thorough analysis of the potential applications of LLMs in AD systems, including exploring their optimization strategies in both modular and end-to-end approaches, with a particular focus on how LLMs can tackle the problems and challenges present in current solutions. Furthermore, we discuss an important question: Can LLM-based artificial general intelligence (AGI) be a key to achieve high-level AD? We further analyze the potential limitations and challenges that LLMs may encounter in promoting the development of AD technology.