Detect and Suppress: A Mechanistic Defense against Adversarial Patches in VLA Models

📄 arXiv: 2610.03498v1 📥 PDF

作者: Yukiya Horiba, Koshiro Aoki, Shunsuke Yasuki, Bum Jun Kim, Taiki Miyanishi

分类: cs.RO, cs.AI

发布日期: 2026-10-02

💡 一句话要点

提出机制性防御以应对VLA模型中的对抗性补丁问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗性攻击 视觉-语言-行动 稀疏自编码器 鲁棒性提升 动态干预

📋 核心要点

  1. 对抗性补丁对VLA模型的干扰机制尚不明确，现有防御方法效果有限。
  2. 本文提出通过稀疏自编码器分析VLA表示，识别与对抗性补丁相关的特征并进行抑制。
  3. 实验结果表明，条件干预在间歇性攻击下提高成功率，而持续干预则降低策略性能，展示了干预时机的重要性。

📝 摘要（中文）

对抗性补丁能够通过操控视觉观察来干扰视觉-语言-行动（VLA）模型，导致机器人控制失败。然而，导致这些失败的内部机制尚不清楚，如何进行针对性干预以减轻这些影响也未得到充分研究。本文通过稀疏自编码器（SAE）对VLA表示进行机制分析，识别出与对抗性补丁存在强相关性的特征。在此基础上，仅在检测到攻击时抑制该特征，从而在不需要微调VLA的情况下提高模型的鲁棒性。我们在LIBERO-10上评估了该方法，发现条件干预在间歇性攻击下提高了成功率，而持续应用相同干预则显著降低了策略性能。这些结果表明，攻击相关的内部表示可以为VLA的对抗防御提供有用的目标，控制干预时机对于限制对正常策略行为的干扰至关重要。

🔬 方法详解

问题定义：本文旨在解决对抗性补丁对VLA模型造成的干扰问题。现有方法对内部机制的理解不足，导致防御效果不理想。

核心思路：通过机制分析，识别出与对抗性补丁强相关的特征，并在检测到攻击时进行针对性抑制，以提高模型鲁棒性。

技术框架：整体流程包括使用稀疏自编码器分析VLA表示，识别特征，构建线性探测器检测攻击，并在推理时抑制相关特征。

关键创新：最重要的创新在于通过机制分析识别攻击相关特征，并在推理阶段动态抑制该特征，避免了传统方法的微调需求。

关键设计：采用稀疏自编码器进行特征分析，设计线性探测器用于攻击检测，抑制策略在推理时动态应用，以实现最佳的防御效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，条件干预在间歇性攻击下成功率提高了显著，而持续干预则导致策略性能下降，表明干预时机的选择对防御效果至关重要。这一发现为VLA模型的对抗防御提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和智能监控等场景，能够有效提升系统在面对对抗性攻击时的鲁棒性。未来，该方法可能为其他多模态系统的安全性提供新的思路和技术支持。

📄 摘要（原文）

Adversarial patches can disrupt Vision-Language-Action (VLA) models by manipulating visual observations, leading to failures in robot control. However, it remains poorly understood which internal mechanisms underlie these failures and how targeted interventions can mitigate them. In this work, we mechanistically analyze VLA representations using a sparse autoencoder (SAE) and identify a feature whose activation strongly correlates with the presence of an adversarial patch. Based on this analysis, we suppress the identified feature at inference time only when a linear probe detects an attack. This intervention improves robustness without the cost of fine-tuning the VLA. We evaluate our method against VLA adversarial patch attacks on LIBERO-10. Conditional intervention improves success rate under intermittent attacks, whereas continuously applying the same intervention substantially degrades policy performance. These results show that attack-related internal representations can provide useful targets for VLA adversarial defense and that controlling when to intervene is important for limiting disruption to nominal policy behavior.