Speed in the Blind Spot: An Interpretability Analysis of Dynamic Perception in VLMs for Autonomous Driving
作者: Katharina Winter, Stefan Englmeier, Fabian B. Flohr
分类: cs.CV
发布日期: 2026-09-29
备注: This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible
💡 一句话要点
分析动态感知在自动驾驶中的可解释性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 动态感知 视觉-语言模型 自动驾驶 速度理解 多模态评估 模型适应 时间扰动
📋 核心要点
- 现有视觉-语言模型在动态物理状态恢复方面存在不足，尤其是在速度理解上表现不佳。
- 论文通过对速度理解的控制诊断，提出结合语言评估与时间扰动的方法来分析模型性能。
- 实验结果显示，当前自我速度的内部可访问性较高，但语言表达能力较弱，且不同模型在速度表示上存在显著差异。
📝 摘要（中文）
随着视觉-语言模型（VLMs）在自动驾驶系统中的应用日益增多，其从视觉输入中恢复动态物理状态的能力仍未得到充分表征。本文通过对周围代理速度、当前自我速度和短期未来自我速度提议三个任务进行研究，评估了开放权重的通用模型和专门的物理AI VLMs。结合语言评估与时间扰动、反事实自我速度提示及隐藏表示的线性探测，发现不同任务表现出独特的失败模式。结果表明，尽管驾驶专用模型在某些速度表示上表现更强，但并不保证对场景和自我状态的强编码或可靠的输出。可行的规划输出并不一定意味着对动态状态的可靠恢复或时间基础的有效性。
🔬 方法详解
问题定义：本文旨在解决视觉-语言模型在自动驾驶中动态物理状态恢复的不足，特别是速度理解的挑战。现有方法在速度编码和语言输出方面存在显著差距。
核心思路：通过对速度理解进行控制诊断，结合多种输入输出形式，评估模型在不同任务中的表现，探索其内部表示与语言输出之间的关系。
技术框架：整体架构包括三个主要任务：周围代理速度、当前自我速度和短期未来自我速度提议。使用多种输入形式和时间扰动进行评估，结合线性探测隐藏表示。
关键创新：论文的创新点在于结合了语言评估与时间扰动，揭示了模型在速度理解上的不同失败模式，并分析了不同模型的表现差异。
关键设计：采用了非优化的QLoRA进行任务特定适应，设置了多种输入输出形式，并使用了线性探测技术来评估隐藏表示的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，当前自我速度的平均绝对误差（MAE）为4.7-5.8 km/h，而语言输出的MAE则高达10.2-16.8 km/h，表明模型在速度理解上的显著差距。此外，驾驶专用模型在周围代理和未来自我速度的潜在表示上表现更强，但当前自我速度的解码能力仍然有限。
🎯 应用场景
该研究为自动驾驶系统中的动态感知提供了新的分析视角，能够帮助开发更具鲁棒性的视觉-语言模型，提升自动驾驶的安全性和可靠性。未来，这些研究成果可应用于智能交通系统、无人驾驶汽车等领域，推动相关技术的发展。
📄 摘要（原文）
Vision-Language Models are increasingly used in autonomous-driving systems, yet their ability to recover dynamic physical state from visual input remains insufficiently characterized. We study velocity understanding as a controlled diagnostic across three tasks: surrounding-agent speed, current ego speed, and short-horizon future ego-speed proposal. On nuScenes, we evaluate open-weight general-purpose and PhysicalAI VLMs, together with the driving-oriented Alpamayo-1.5 Vision-Language-Action model, using multiple input and output formulations. We combine verbal evaluation with temporal perturbations, counterfactual ego-speed hints and linear probes of hidden representations. The tasks exhibit distinct failure modes. Surrounding-agent speed is weakly encoded in an agent-specific form, whereas current ego speed is often internally accessible but poorly verbalized: continuous probes achieve 4.7-5.8 km/h MAE compared with 10.2-16.8 km/h MAE for verbal outputs. Multiple frames provide inconsistent verbal gains to single frame inputs, and frame order is rarely exploited. Under non-optimized QLoRA, task-specific adaptation improves both task-relevant latent speed representations and verbal readout, but continuous surrounding-agent speed estimation remains weak, while most future-speed gains survive frame shuffling, indicating limited temporal grounding. Driving specialized Alpamayo-1.5 shows stronger latent representations for surrounding-agent and future ego speed, while current ego-speed decodability is comparable and substantial probe-verbal gaps remain. Thus, driving specialization can strengthen motion representations but does not guarantee stronger encoding across both scene and ego states or reliable readout. The results show that plausible planning outputs do not necessarily imply reliable recovery or temporal grounding of the underlying dynamic state.