Measuring the Reasoning-Action Coupling in Driving Vision-Language-Action Models through Counterfactuals
作者: Gabriel Manalu, Saad Wazir, Thao Do, Seongah Kim, Hyeontaek Hwang, Tolcha Yalew Kidane, Daeyoung Kim
分类: cs.AI
发布日期: 2026-10-22
备注: 11 pages, 4 figures, 3 tables
💡 一句话要点
通过反事实方法测量驾驶视觉-语言-行动模型的推理-行动耦合
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 驾驶模型 视觉-语言-行动 可解释性 因果推理 反事实干预 自动驾驶 模型评估
📋 核心要点
- 现有的驾驶VLA模型在推理与实际行为之间的耦合性不足，影响了其可解释性。
- 本文通过反事实干预方法，系统地分析推理与驾驶行为之间的关系，揭示其耦合程度。
- 实验结果表明，模型推理的改变对轨迹的影响较小，显示出可解释性存在局限性。
📝 摘要（中文）
驾驶视觉-语言-行动（VLA）模型为安全关键领域提供了一种令人信服的可解释性形式，因为能够阐明其操作原因的系统提供了部署和公众信任所需的透明度。本文通过对四个不同基准的驾驶VLA模型应用因果反事实干预，深入探讨了推理与行为之间的耦合关系。研究发现，模型生成的推理与其驾驶行为之间的耦合较弱，指出了这些系统在可解释性方面的局限性。
🔬 方法详解
问题定义：本文旨在解决驾驶VLA模型中推理与实际行为之间的耦合性不足的问题。现有方法未能有效验证推理是否真实反映了导致行为的原因。
核心思路：通过对模型推理进行因果反事实干预，分析推理与行为之间的关系，探讨其耦合程度。这样的设计旨在揭示模型在推理过程中存在的局限性。
技术框架：研究采用了四个不同基准的驾驶VLA模型，首先对模型自身的推理进行扰动，然后通过真实感的场景反事实构建，分析推理与轨迹的变化。主要模块包括推理扰动、场景反事实构建和结果分析。
关键创新：最重要的技术创新在于应用反事实干预方法，系统性地评估推理与行为之间的耦合性。这与现有方法的主要区别在于，前者强调了因果关系的分析，而后者往往忽视了这一点。
关键设计：在实验中，采用了多种模型架构和基准，设置了不同的扰动参数，并通过对比分析推理与轨迹的变化，确保了结果的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模型推理的改变对轨迹的影响相对较小，相较于直接干预摄像头输入，推理的变化对行为的影响更为微弱。这一发现强调了当前模型在可解释性方面的局限性，提示未来研究需关注推理与行为之间的更强耦合。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶系统的开发与优化，尤其是在提升系统可解释性和公众信任方面具有重要价值。未来，改进的VLA模型可在安全关键的自动驾驶场景中得到广泛应用，帮助开发更透明的决策系统。
📄 摘要（原文）
Driving vision-language-action (VLA) models bring an appealing form of explainability to a safety-critical domain, since a system that can state the reasons for its maneuvers offers the transparency that deployment and public trust in autonomous driving demand. These models read the world into language before they act on it, describing the scene and reasoning over it in text that ranges from chain-of-thought to multi-stage question answering on the way to a trajectory. That framing quietly assumes two separable properties, namely that the trajectory follows the generated reasoning and that the generated reasoning tracks the causes that actually produce the trajectory. To thoroughly investigate these properties, we apply causal, counterfactual interventions to four driving VLAs across different benchmarks. First, we perturb the models' own reasoning and show that altering its meaning produces small trajectory changes relative to blanking the same models' camera inputs, a pattern that persists across benchmarks and model architectures. We then construct scene-level counterfactuals through photorealistic removal of key objects named in the models' reasoning and analyze whether the generated reasoning and trajectories track these changes. Overall, our findings indicate that the reasoning these models present to account for their resulting driving behavior is weakly coupled to that behavior itself, pointing to limits on the explainability these systems are intended to provide.