PDB-Eval: An Evaluation of Large Multimodal Models for Description and Explanation of Personalized Driving Behavior

📄 arXiv: 2507.18447v1 📥 PDF

作者: Junda Wu, Jessica Echterhoff, Kyungtae Han, Amr Abdelraouf, Rohit Gupta, Julian McAuley

分类: cs.CV

发布日期: 2025-07-24

💡 一句话要点

提出PDB-Eval基准，用于评估大型多模态模型对个性化驾驶行为的理解与解释能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 驾驶行为理解 大型语言模型 视觉问答 个性化驾驶 驾驶意图预测 基准数据集

📋 核心要点

  1. 现有数据集在基于外部视觉证据描述和解释通用车辆运动方面存在局限性，无法有效支持个性化驾驶行为理解。
  2. 论文提出PDB-Eval基准，包含PDB-X和PDB-QA，旨在评估和提升MLLM对驾驶行为的理解和推理能力。
  3. 实验表明，在PDB-Eval上微调MLLM可显著提升其在驾驶相关任务上的零样本性能和迁移能力。

📝 摘要（中文）

为了更好地理解驾驶员的行为和意图，从而进行潜在的风险评估和早期事故预防，本文提出了一个名为PDB-Eval的基准，用于评估大型多模态模型（MLLM）在理解个性化驾驶行为，以及将驾驶理解和推理能力对齐方面的能力。该基准包含两个主要组成部分：PDB-X和PDB-QA。PDB-X用于评估MLLM对时序驾驶场景的理解，旨在从外部视角找到有效的视觉证据来解释驾驶员从内部视角展现的行为。PDB-QA则被设计为一个视觉解释问答任务，用于MLLM的指令微调，旨在弥合领域差距，同时不损害MLLM的泛化能力。评估结果表明，在细粒度的描述和解释上对MLLM进行微调可以有效弥合MLLM与驾驶领域之间的差距，从而将问答任务的零样本性能提高高达73.2%。此外，在Brain4Cars的意图预测和AIDE的识别任务中，使用PDB-X微调的MLLM分别取得了高达12.5%和11.0%的性能提升。

🔬 方法详解

问题定义：论文旨在解决大型多模态模型（MLLM）在理解和解释个性化驾驶行为方面的不足。现有方法难以有效利用外部视觉信息来解释驾驶员的内部行为意图，缺乏针对驾驶场景的细粒度理解和推理能力。

核心思路：论文的核心思路是构建一个专门针对个性化驾驶行为理解的评估基准PDB-Eval，并通过在该基准上对MLLM进行微调，来提升其在驾驶场景下的理解和推理能力。PDB-Eval包含PDB-X（时序驾驶场景理解）和PDB-QA（视觉解释问答）两个部分，分别侧重于视觉证据提取和推理能力对齐。

技术框架：PDB-Eval基准包含两个主要模块：PDB-X和PDB-QA。PDB-X提供时序驾驶场景数据，用于评估MLLM从外部视角理解驾驶员行为的能力。PDB-QA是一个视觉解释问答任务，旨在通过指令微调，将MLLM的推理能力与驾驶任务对齐。整体流程是：首先利用PDB-X和PDB-QA对MLLM进行微调，然后评估微调后的MLLM在驾驶相关任务上的性能。

关键创新：论文的关键创新在于提出了PDB-Eval基准，该基准专门针对个性化驾驶行为的理解和解释，填补了现有数据集的空白。PDB-QA任务的设计，通过视觉解释问答的形式，有效地将MLLM的推理能力与驾驶任务对齐，同时保持了MLLM的泛化能力。

关键设计：PDB-X数据集的设计侧重于从外部视角提供有效的视觉证据，以解释驾驶员的内部行为。PDB-QA任务的设计则侧重于生成细粒度的描述和解释，以弥合MLLM与驾驶领域之间的差距。具体的参数设置、损失函数和网络结构等技术细节在论文中未详细说明，属于MLLM微调的常规操作，可能根据具体使用的MLLM架构进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在PDB-Eval上微调MLLM可以显著提升其在驾驶相关任务上的性能。具体而言，在PDB-QA任务上，零样本性能提升高达73.2%。在Brain4Cars的意图预测任务中，性能提升高达12.5%。在AIDE的识别任务中，性能提升高达11.0%。这些结果表明，PDB-Eval是一个有效的基准，可以用于评估和提升MLLM在驾驶场景下的理解和推理能力。

🎯 应用场景

该研究成果可应用于高级驾驶辅助系统（ADAS）和自动驾驶领域，通过更准确地理解驾驶员的意图和行为，从而提高驾驶安全性，减少交通事故。此外，该研究还可以用于个性化驾驶行为分析，为驾驶员提供定制化的驾驶建议和反馈。

📄 摘要（原文）

Understanding a driver's behavior and intentions is important for potential risk assessment and early accident prevention. Safety and driver assistance systems can be tailored to individual drivers' behavior, significantly enhancing their effectiveness. However, existing datasets are limited in describing and explaining general vehicle movements based on external visual evidence. This paper introduces a benchmark, PDB-Eval, for a detailed understanding of Personalized Driver Behavior, and aligning Large Multimodal Models (MLLMs) with driving comprehension and reasoning. Our benchmark consists of two main components, PDB-X and PDB-QA. PDB-X can evaluate MLLMs' understanding of temporal driving scenes. Our dataset is designed to find valid visual evidence from the external view to explain the driver's behavior from the internal view. To align MLLMs' reasoning abilities with driving tasks, we propose PDB-QA as a visual explanation question-answering task for MLLM instruction fine-tuning. As a generic learning task for generative models like MLLMs, PDB-QA can bridge the domain gap without harming MLLMs' generalizability. Our evaluation indicates that fine-tuning MLLMs on fine-grained descriptions and explanations can effectively bridge the gap between MLLMs and the driving domain, which improves zero-shot performance on question-answering tasks by up to 73.2%. We further evaluate the MLLMs fine-tuned on PDB-X in Brain4Cars' intention prediction and AIDE's recognition tasks. We observe up to 12.5% performance improvements on the turn intention prediction task in Brain4Cars, and consistent performance improvements up to 11.0% on all tasks in AIDE.