Evaluation of Large Language Models for Decision Making in Autonomous Driving

📄 arXiv: 2312.06351v1 📥 PDF

作者: Kotaro Tanahashi, Yuichi Inoue, Yu Yamaguchi, Hidetatsu Yaginuma, Daiki Shiotsuka, Hiroyuki Shimatani, Kohei Iwamasa, Yoshiaki Inoue, Takafumi Yamaguchi, Koki Igari, Tsukasa Horinouchi, Kento Tokuhiro, Yugo Tokuchi, Shunsuke Aoki

分类: cs.CV, cs.CL, cs.RO

发布日期: 2023-12-11

备注: Accepted at the 2023 Symposium on Machine Learning for Autonomous Driving collocated with NeurIPS

💡 一句话要点

量化评估大型语言模型在自动驾驶决策中的空间感知与规则遵守能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 自动驾驶 决策制定 空间感知 交通规则

📋 核心要点

  1. 现有方法缺乏对LLM在自动驾驶中空间感知和规则遵守能力的量化评估。
  2. 论文提出通过定量评估LLM在空间感知决策和遵守交通规则两方面的能力来研究其在自动驾驶中的潜力。
  3. 论文开发了一个基于LLM的自动驾驶系统，并进行了概念验证，以探索实际应用的可行性。

📝 摘要（中文）

本文研究了大型语言模型（LLM）在自动驾驶中的应用，特别是利用LLM接收周围物体的坐标和速度信息作为文本提示，并输出车辆的后续运动。针对LLM在此应用中所需的空间识别和规划能力，论文定量评估了LLM在空间感知决策（即从坐标信息中识别空间并做出避免碰撞的决策）和遵守交通规则两方面的能力。此外，为了验证这些能力在实际车辆中实现的可行性，论文还开发了一个使用LLM驱动车辆的系统，进行概念验证（POC）。

🔬 方法详解

问题定义：自动驾驶需要LLM具备空间感知和决策能力，以及遵守交通规则的能力。现有研究缺乏对LLM在这些关键能力上的量化评估，难以判断其在实际自动驾驶场景中的可靠性。因此，本文旨在量化评估LLM在自动驾驶决策中的空间感知和规则遵守能力。

核心思路：将自动驾驶场景中的环境信息（如周围物体的坐标和速度）作为文本提示输入LLM，然后让LLM输出车辆的下一步行动。通过分析LLM的输出，评估其在空间感知和规则遵守方面的表现。这种方法的核心在于将复杂的自动驾驶决策问题转化为LLM可以处理的文本输入输出问题。

技术框架：该研究的技术框架主要包含以下几个部分：1) 场景构建：构建包含各种交通参与者和交通规则的自动驾驶模拟环境。2) 信息编码：将环境信息（如车辆、行人、交通信号灯的位置和速度）编码成文本提示。3) LLM推理：将文本提示输入LLM，获得车辆的下一步行动指令。4) 行为评估：根据LLM的输出，评估车辆是否能够安全行驶并遵守交通规则。5) 系统集成：将LLM集成到实际车辆控制系统中，进行概念验证。

关键创新：该研究的关键创新在于首次对LLM在自动驾驶决策中的空间感知和规则遵守能力进行了量化评估。与以往侧重于定性分析或特定任务的评估不同，本文通过设计专门的评估指标和实验场景，系统地评估了LLM在自动驾驶中的核心能力。此外，将LLM集成到实际车辆控制系统中进行概念验证，也为LLM在自动驾驶领域的应用提供了新的思路。

关键设计：论文的关键设计包括：1) 文本提示的设计：如何将环境信息有效地编码成文本提示，以便LLM能够理解和利用。2) 评估指标的设计：如何设计合理的评估指标来量化LLM在空间感知和规则遵守方面的表现。3) 实验场景的设计：如何设计具有代表性的自动驾驶场景，以全面评估LLM的能力。具体的参数设置、损失函数和网络结构等技术细节在摘要中未提及，属于未知信息。

📊 实验亮点

论文定量评估了LLM在自动驾驶中的空间感知决策和遵守交通规则的能力。通过实验，研究人员能够了解不同LLM在这些关键能力上的表现差异。此外，论文还通过实际车辆的概念验证，展示了LLM在自动驾驶领域的潜在应用价值。具体的性能数据和提升幅度在摘要中未提及，属于未知信息。

🎯 应用场景

该研究成果可应用于自动驾驶系统的开发和测试，帮助评估和提升LLM在自动驾驶中的决策能力。通过量化评估LLM的性能，可以更好地了解其优势和局限性，从而指导LLM在自动驾驶领域的应用，并为开发更安全、更可靠的自动驾驶系统提供支持。此外，该研究也为其他机器人和人工智能领域的决策问题提供了借鉴。

📄 摘要（原文）

Various methods have been proposed for utilizing Large Language Models (LLMs) in autonomous driving. One strategy of using LLMs for autonomous driving involves inputting surrounding objects as text prompts to the LLMs, along with their coordinate and velocity information, and then outputting the subsequent movements of the vehicle. When using LLMs for such purposes, capabilities such as spatial recognition and planning are essential. In particular, two foundational capabilities are required: (1) spatial-aware decision making, which is the ability to recognize space from coordinate information and make decisions to avoid collisions, and (2) the ability to adhere to traffic rules. However, quantitative research has not been conducted on how accurately different types of LLMs can handle these problems. In this study, we quantitatively evaluated these two abilities of LLMs in the context of autonomous driving. Furthermore, to conduct a Proof of Concept (POC) for the feasibility of implementing these abilities in actual vehicles, we developed a system that uses LLMs to drive a vehicle.