DriveMind: Mind-Evolving Belief Tracking for Closed-Loop Autonomous Driving

📄 arXiv: 2610.32069v1 📥 PDF

作者: Yan Shi, Kehua Chen, Jiarui Qi, Yihong Tang, Haichen Liao, Yinhai Wang

分类: cs.AI

发布日期: 2026-10-23

备注: Accepted by Neurips 2026

💡 一句话要点

提出DriveMind以解决闭环自主驾驶中的信念追踪问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大型语言模型 信念追踪 粒子滤波 自主驾驶 交通场景理解 复杂环境 实时决策

📋 核心要点

  1. 现有的MLLM驱动系统在每帧中从头推理，导致在模糊场景下容易锁定错误的解释，影响驾驶决策。
  2. DriveMind通过同时保持多个假设并更新其权重，借鉴粒子滤波的思想，提升了对交通场景的理解和反应能力。
  3. 实验结果表明，DriveMind在Bench2Drive上的驾驶评分和成功率显著提高，尤其在复杂和模糊的驾驶场景中表现突出。

📝 摘要（中文）

近年来，多模态大型语言模型（MLLMs）能够在单一模型中感知交通场景、进行推理并提出驾驶动作。然而，现有的基于MLLM的驾驶系统在每一帧中都从头开始推理，并且只锁定单一解释，忽略了早期的假设。当场景模糊时，代理可能会错误地锁定在错误的解释上并提前采取行动。本文提出DriveMind，一个基于MLLM的驾驶框架，能够同时保持多个场景假设，并在新帧到达时更新它们的权重。受粒子滤波的启发，DriveMind通过视觉语言模型（VLM）传播每个假设，并根据当前观察对其进行评分，重新采样以保持多样性。在Bench2Drive上，将信念追踪添加到相同的驾驶管道中，使驾驶评分（DS）从68.50提高到81.37，成功率（SR）从41.36%提高到54.09%。在模糊场景（如无信号交叉口和迎面交通互动）中，DriveMind的提升尤为显著。

🔬 方法详解

问题定义：本文旨在解决现有基于MLLM的自主驾驶系统在模糊场景下推理不准确的问题，现有方法在每帧中只考虑单一解释，容易导致错误决策。

核心思路：DriveMind的核心思路是同时保持多个场景假设，并根据新观察更新这些假设的权重，从而提高对复杂交通场景的理解能力。

技术框架：DriveMind的整体架构包括多个模块，首先通过视觉语言模型（VLM）对每个假设进行传播，然后根据当前观察对其进行评分，最后通过重新采样来保持假设的多样性。

关键创新：DriveMind的主要创新在于引入信念追踪机制，使得系统能够在面对模糊场景时保持多个假设的活跃性，从而避免错误锁定单一解释的风险。

关键设计：在设计中，DriveMind采用了粒子滤波的思想，设置了合适的评分机制和重新采样策略，以确保假设的多样性和准确性，同时优化了网络结构以适应实时驾驶需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DriveMind在Bench2Drive上的实验结果显示，驾驶评分（DS）从68.50提升至81.37，成功率（SR）从41.36%提升至54.09%。在无信号交叉口和迎面交通互动等模糊场景中，DriveMind分别提高了20.0和20.5的驾驶评分，展现出显著的性能提升。

🎯 应用场景

DriveMind的研究成果在自动驾驶领域具有广泛的应用潜力，特别是在复杂和动态的交通环境中。通过提高对模糊场景的理解能力，DriveMind能够显著提升自动驾驶系统的安全性和可靠性，推动智能交通系统的发展。

📄 摘要（原文）

Recent multimodal large language models (MLLMs) can perceive a traffic scene, reason about it, and propose a driving action within a single model. However, existing MLLM-based drivers reason from scratch at each frame and commit to a single explanation, discarding earlier hypotheses about the scene. When the scene is ambiguous, the agent locks in on the wrong interpretation and acts on it before evidence accumulates. In this paper, we propose DriveMind, an MLLM-based driving framework that keeps several hypotheses about the scene alive at the same time and updates their weights as new frames arrive. Inspired by particle filtering, DriveMind propagates each hypothesis through a VLM, scores it against the current observation, and resamples to maintain diversity. On Bench2Drive, adding belief tracking to the same driving pipeline improves the Driving Score (DS) from 68.50 to 81.37 and the Success Rate (SR) from 41.36% to 54.09%. The largest gains occur on ambiguous scenarios such as unsignalized intersections (+20.0 DS) and oncoming-traffic interactions (+20.5 DS). Beyond the overall metrics, DriveMind also improves fine-grained interactive driving abilities such as merging, emergency braking, and give-way.