Efficient Driving Behavior Narration and Reasoning on Edge Device Using Large Language Models

📄 arXiv: 2409.20364v1 📥 PDF

作者: Yizhou Huang, Yihua Cheng, Kezhi Wang

分类: cs.AI, cs.CV, cs.RO

发布日期: 2024-09-30

备注: Submitted for possible journal publication

💡 一句话要点

提出基于边缘设备LLM的驾驶行为叙述与推理框架，提升响应速度与性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 边缘计算 大型语言模型 驾驶行为分析 多模态融合 智能交通系统

📋 核心要点

  1. 自动驾驶技术依赖于具有强大推理能力的深度学习架构，但现有方法在边缘设备上的部署和效率方面存在挑战。
  2. 本文提出一种基于边缘设备的LLM框架，利用路侧单元收集数据，结合5G网络通信，实现快速响应和高效推理。
  3. 实验表明，该框架在边缘设备上实现了令人满意的响应速度，并通过提示策略显著提升了叙述和推理性能。

📝 摘要（中文）

本文提出了一种基于边缘设备的驾驶行为叙述与推理框架，该框架利用部署在多个路侧单元上的大型语言模型（LLM）来收集道路数据并通过5G NSR/NR网络进行通信。边缘设备本地处理数据，减少传输延迟和带宽使用，从而实现更快的响应时间。实验结果表明，部署在边缘设备的LLM能够达到令人满意的响应速度。此外，本文还提出了一种提示策略，通过整合环境、智能体和运动等多模态信息，来增强系统的叙述和推理性能。在OpenDV-Youtube数据集上的实验表明，该方法显著提高了两项任务的性能。

🔬 方法详解

问题定义：现有自动驾驶技术依赖的深度学习模型通常计算量大，难以直接部署在资源受限的边缘设备上。此外，如何有效地利用边缘设备收集的多模态数据（如环境、智能体和运动信息）进行驾驶行为的叙述和推理是一个挑战。现有方法在边缘设备上的响应速度和推理准确性方面存在不足。

核心思路：本文的核心思路是将大型语言模型（LLM）部署在边缘设备上，利用边缘计算的低延迟和高带宽优势，实现快速的驾驶行为叙述和推理。通过设计有效的提示策略，将多模态信息整合到LLM的输入中，从而提高LLM的推理准确性。

技术框架：该框架由多个路侧单元组成，每个单元都部署了LLM。路侧单元负责收集道路数据，并通过5G NSR/NR网络进行通信。整体流程包括：1) 路侧单元收集环境、智能体和运动数据；2) 数据经过预处理后，通过设计的提示策略输入到LLM中；3) LLM根据输入信息生成驾驶行为的叙述和推理结果；4) 各个路侧单元之间通过5G网络共享信息，从而实现协同推理。

关键创新：该论文的关键创新在于将LLM部署在边缘设备上，并设计了一种有效的提示策略来增强LLM的叙述和推理性能。与传统的集中式计算方法相比，边缘部署可以显著降低延迟和带宽需求。与简单的LLM应用相比，该提示策略能够更好地利用多模态信息，从而提高推理准确性。

关键设计：提示策略是该方法的关键设计之一。该策略整合了环境（如天气、光照）、智能体（如车辆类型、速度）和运动（如加速度、转向）等多模态信息，并将这些信息以自然语言的形式输入到LLM中。具体的提示模板可以根据不同的任务进行调整。此外，论文还关注了LLM在边缘设备上的部署优化，例如模型压缩和量化等技术，但具体细节未知。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，该方法在OpenDV-Youtube数据集上显著提高了驾驶行为叙述和推理的性能。具体的性能数据和提升幅度在摘要中有所提及，但未给出具体数值。该研究验证了在边缘设备上部署LLM进行驾驶行为分析的可行性，并证明了提示策略对提高LLM性能的有效性。

🎯 应用场景

该研究成果可应用于智能交通系统、自动驾驶辅助系统等领域。通过在路侧部署边缘计算单元，可以实时分析交通状况、预测驾驶行为，并为车辆提供安全预警和驾驶建议，从而提高道路安全性和交通效率。未来，该技术还可以扩展到其他需要实时推理和决策的场景，如智能安防、工业自动化等。

📄 摘要（原文）

Deep learning architectures with powerful reasoning capabilities have driven significant advancements in autonomous driving technology. Large language models (LLMs) applied in this field can describe driving scenes and behaviors with a level of accuracy similar to human perception, particularly in visual tasks. Meanwhile, the rapid development of edge computing, with its advantage of proximity to data sources, has made edge devices increasingly important in autonomous driving. Edge devices process data locally, reducing transmission delays and bandwidth usage, and achieving faster response times. In this work, we propose a driving behavior narration and reasoning framework that applies LLMs to edge devices. The framework consists of multiple roadside units, with LLMs deployed on each unit. These roadside units collect road data and communicate via 5G NSR/NR networks. Our experiments show that LLMs deployed on edge devices can achieve satisfactory response speeds. Additionally, we propose a prompt strategy to enhance the narration and reasoning performance of the system. This strategy integrates multi-modal information, including environmental, agent, and motion data. Experiments conducted on the OpenDV-Youtube dataset demonstrate that our approach significantly improves performance across both tasks.