Lost in Fog: Sensor Perturbations Expose Reasoning Fragility in Driving VLAs

📄 arXiv: 2605.21446v1 📥 PDF

作者: Abhinaw Priyadershi, Jelena Frtunikj

分类: cs.RO, cs.AI

发布日期: 2026-05-20

💡 一句话要点

研究传感器扰动对自动驾驶VLA模型推理一致性的影响，提出基于因果链一致性的安全监控方法。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶 视觉语言动作模型 鲁棒性 传感器扰动 因果链解释 推理一致性 安全监控

📋 核心要点

  1. 自动驾驶规划器依赖于可解释性，但现有方法在真实传感器退化情况下，解释的可靠性面临挑战。
  2. 论文提出通过受控扰动研究VLA模型的鲁棒性，核心思想是利用因果链（CoC）解释的一致性作为轨迹可靠性的指标。
  3. 实验结果表明，CoC一致性与轨迹准确性高度相关，CoC变化时轨迹偏差显著增加，且启用CoC生成能提升轨迹准确性。

📝 摘要（中文）

本文针对自动驾驶中视觉-语言-动作（VLA）模型的鲁棒性问题，提出了一项受控扰动研究，评估了Alpamayo R1（100亿参数）在1996个场景下，受到八种传感器扰动（四种强度的高斯噪声、两种极端光照和两种雾霾等级；约18000次推理试验）时的性能。研究发现，推理一致性是轨迹可靠性的高保真指标：当因果链（CoC）解释在扰动后发生变化时，轨迹偏差会显著增加5.3倍（21.8米 vs 4.1米），攻击类型之间的相关系数r=0.99，样本间的相关系数r_pb=0.53（Cohen's d=1.12）。受控消融实验表明，启用CoC生成与提高轨迹准确性相关（在匹配的推理设置下，平均提高11.8%；p < 0.0001）。在测试的噪声范围内（σ∈{10, 30, 50, 70}），性能退化近似线性（R^2=0.957），而标准输入预处理防御仅提供边际缓解。这些结果表明，CoC一致性是规划安全性的定量代理，并推动了基于推理的运行时监控，以实现更安全的VLA部署。

🔬 方法详解

问题定义：自动驾驶系统依赖视觉传感器进行环境感知和决策，但真实世界中传感器容易受到各种扰动（如噪声、光照变化、雾霾等）的影响。现有VLA模型在传感器数据质量下降时，其推理过程和决策的可靠性会受到质疑，缺乏有效的评估和监控方法。因此，如何评估和提高VLA模型在恶劣环境下的鲁棒性，是当前自动驾驶研究面临的重要问题。

核心思路：论文的核心思路是利用因果链（Chain-of-Causation, CoC）解释的一致性来评估VLA模型的鲁棒性。CoC解释旨在提供模型决策过程的可解释性，如果模型在受到扰动后，CoC解释发生显著变化，则表明模型的推理过程不稳定，可能导致错误的决策。通过监控CoC解释的一致性，可以作为VLA模型安全性的一个定量代理。

技术框架：论文采用Alpamayo R1（10B参数）作为VLA模型，并在CARLA模拟器中构建了包含1996个场景的测试集。实验流程如下：1) 对输入图像施加不同类型的传感器扰动（高斯噪声、光照变化、雾霾）；2) 使用VLA模型生成轨迹和CoC解释；3) 比较扰动前后CoC解释的变化；4) 分析CoC解释变化与轨迹偏差之间的关系。

关键创新：论文的关键创新在于将CoC解释的一致性作为VLA模型鲁棒性的评估指标。与传统的直接评估轨迹准确性的方法相比，CoC一致性能够更深入地反映模型推理过程的稳定性。此外，论文还通过受控扰动实验，系统地研究了不同类型的传感器扰动对VLA模型性能的影响，为VLA模型的鲁棒性研究提供了新的视角。

关键设计：论文的关键设计包括：1) 采用多种类型的传感器扰动，以模拟真实世界中可能遇到的各种恶劣环境；2) 使用Alpamayo R1模型，该模型具有生成CoC解释的能力；3) 通过消融实验，验证CoC生成对轨迹准确性的影响；4) 使用相关系数和Cohen's d等统计指标，量化CoC一致性与轨迹偏差之间的关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，当CoC解释在扰动后发生变化时，轨迹偏差会显著增加5.3倍（21.8米 vs 4.1米），攻击类型之间的相关系数r=0.99，样本间的相关系数r_pb=0.53（Cohen's d=1.12）。消融实验表明，启用CoC生成与提高轨迹准确性相关（平均提高11.8%；p < 0.0001）。在测试的噪声范围内（σ∈{10, 30, 50, 70}），性能退化近似线性（R^2=0.957）。

🎯 应用场景

该研究成果可应用于自动驾驶系统的安全监控和故障诊断。通过实时监测VLA模型的CoC解释一致性，可以及时发现潜在的风险，并采取相应的措施，例如切换到更保守的驾驶策略或请求人工干预。此外，该研究还可以指导VLA模型的训练和优化，提高模型在恶劣环境下的鲁棒性，从而提升自动驾驶系统的安全性。

📄 摘要（原文）

Interpretable autonomous driving planners depend not only on generating explanations, but also on those explanations remaining reliable under real-world sensor degradation. In this paper we present a controlled perturbation study of Vision-Language-Action (VLA) robustness in autonomous driving, evaluating Alpamayo R1 (10B parameters) across 1,996 scenarios under eight sensor perturbations (Gaussian noise at four intensities, two lighting extremes, and two fog levels; ${\sim}18{,}000$ inference trials). We find that reasoning consistency is a high-fidelity indicator of trajectory reliability: when Chain-of-Causation (CoC) explanations change after perturbation, trajectory deviation spikes $5.3{\times}$ (21.8m vs 4.1m), with $r!=!0.99$ across attack types and $r_{pb}!=!0.53$ per-sample (Cohen's $d!=!1.12$). A controlled ablation provides evidence that enabling CoC generation is associated with improved trajectory accuracy (11.8% on average across conditions; $p < 0.0001$) under matched inference settings. Over the tested noise range ($σ\in {10, 30, 50, 70}$), degradation is approximately linear ($R^2!=!0.957$), while standard input preprocessing defenses provide only marginal relief. Together, these results establish CoC consistency as a quantitative proxy for planning safety and motivate reasoning-based runtime monitoring for safer VLA deployment.