CommandLM: Data driven behavior level descriptor for ego vehicles

📄 arXiv: 2607.22078v1 📥 PDF

作者: Boris Tokic, Constantin Selzer, Fabian B. Flohr

分类: cs.CV

发布日期: 2026-07-24

🔗 代码/项目: GITHUB

💡 一句话要点

提出CommandLM以解决自主驾驶行为描述透明性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自主驾驶 行为描述 多模态融合 可解释性 安全审计 语言模型 传感器数据

📋 核心要点

  1. 现有自主驾驶系统在行为描述的可解释性和透明性方面存在不足，影响安全性和信任度。
  2. CommandLM通过融合多传感器数据，生成简洁的行为描述，提升了决策过程的可解释性。
  3. 实验结果显示，CommandLM在语言生成和行为一致性方面显著优于现有基线，具有较高的实际应用价值。

📝 摘要（中文）

随着自主驾驶系统向实际应用迈进，可解释的行为级决策对于安全、信任和监管至关重要。我们提出了CommandLM，这是一种多模态大型语言模型，能够从融合的多传感器数据中生成简洁、易于理解的自主车辆行为描述。该模型通过Q-Former适配器处理来自LiDAR和多摄像头输入的时间融合鸟瞰图，并连接到经过量化和LoRA微调的大型语言模型。CommandLM在我们的CommandLM-nuScenes数据集上训练，能够生成意图感知的可解释字幕，适用于规划监督和安全审计。实验结果表明，CommandLM在语言和行为一致性方面表现优异，CIDEr达到0.67，BERT-F1达到0.88，显著优于BLIP-2基线（CIDEr 0.52，BERT-F1 0.86）。人类评估中，58%的生成描述被评为准确、高效且符合规则，确认了其在现实世界中的可行性。

🔬 方法详解

问题定义：论文要解决的问题是如何从多传感器数据中生成可解释的自主车辆行为描述。现有方法在行为透明性和可理解性方面存在不足，难以满足安全和监管需求。

核心思路：CommandLM的核心思路是利用多模态融合技术，将LiDAR和摄像头数据结合，通过大型语言模型生成易于理解的行为描述。这种设计旨在提高行为决策的透明度和可解释性。

技术框架：整体架构包括数据输入模块（LiDAR和多摄像头）、Q-Former适配器和大型语言模型。数据通过Q-Former进行时间融合处理，随后输入到经过LoRA微调的语言模型中生成描述。

关键创新：最重要的技术创新点在于将多模态数据融合与语言推理相结合，形成了一种新的行为理解方式。这与现有方法的主要区别在于其生成的描述不仅准确，还具备可解释性。

关键设计：在模型设计中，采用了量化和LoRA微调技术，以提高模型的效率和性能。损失函数的选择和参数设置经过精心调整，以确保生成描述的质量和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CommandLM在语言生成和行为一致性方面表现优异，CIDEr得分为0.67，BERT-F1得分为0.88，显著优于BLIP-2基线（CIDEr 0.52，BERT-F1 0.86）。此外，58%的生成描述在人工评估中被认为准确、高效且符合规则，验证了其在现实应用中的可行性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶系统的行为审计、规划监督和安全评估。通过提供可解释的行为描述，CommandLM能够帮助开发者和监管机构更好地理解和验证自主驾驶系统的决策过程，提升公众对自动驾驶技术的信任度。未来，该技术可能在智能交通系统和无人驾驶车辆的广泛应用中发挥重要作用。

📄 摘要（原文）

As autonomous driving systems move toward real-world deployment, interpretable, behavior-level decision-making is essential for safety, trust, and regulation. We introduce CommandLM, a multimodal large language model that generates concise, human-readable behavior descriptions for ego vehicles from fused multi-sensor data. Our model processes temporally fused bird's-eye view representations from LiDAR and multi-camera inputs via a Q-Former adapter connected to a quantized, LoRA-fine-tuned large language model. Trained on our CommandLM-nuScenes dataset, CommandLM produces intent-aware, interpretable captions suitable for planner supervision and safety auditing. Experiments demonstrate strong linguistic and behavioral alignment, achieving CIDEr 0.67, and BERT-F1 0.88, substantially outperforming the BLIP-2 baseline (CIDEr 0.52, BERT-F1 0.86). In human evaluation, 58% of the generated descriptions were rated accurate, efficient and rule-compliant, confirming their real-world plausibility. While the remaining descriptions may not always select the most efficient, goal-oriented behavior, CommandLM's interpretable outputs enable downstream validation systems to identify and correct such cases, making it an effective tool for transparent behavior auditing. These results show that integrating multimodal fusion with language reasoning yields efficient and transparent behavior-level understanding for autonomous driving. We release our code and dataset at: https://github.com/b-tok/CommandLM