Beyond Patch Removal: Persistent Adversarial Effects in Vision-Language-Action Policies

📄 arXiv: 2609.19669v1 📥 PDF

作者: Enhao Wu, Fusen Guo, Yuxin Cao, Ziyang Lyu, Lin Li, Wei Song

分类: cs.CV, cs.RO

发布日期: 2026-09-17

备注: 8 pages, 2 figures

💡 一句话要点

提出状态恢复协议以解决视觉-语言-动作策略中的对抗性影响问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗性攻击 视觉-语言-动作 状态恢复 鲁棒性评估 智能系统

📋 核心要点

  1. 现有方法主要集中于连续攻击，未能有效区分对抗性补丁造成的即时动作损坏与持久状态影响。
  2. 本文提出了一种状态恢复协议，通过在匹配的动作块边界移除补丁，评估后续的可恢复性，提供了新的评估框架。
  3. 实验结果显示，经过对抗性攻击后，恢复适配器显著提高了恢复率，但干预延迟会影响其效果，强调了及时干预的重要性。

📝 摘要（中文）

对抗性补丁对视觉-语言-动作（VLA）策略不仅会导致即时的动作损坏，还会在补丁移除后留下持久的状态影响。现有评估主要集中在连续攻击上，未能区分这两种影响。本文提出了一种状态恢复协议，在匹配的动作块边界移除补丁，并在相同的剩余步骤预算下测量后续的可恢复性。通过干净、随机补丁、偏差匹配和固定方向的控制，区分了对抗性影响与遮挡、动作误差幅度和方向持久性。实验结果显示，在OpenVLA-OFT上，经过EDPA攻击后，仅有36.2%的LIBERO-Long剧集在五个块后仍可恢复，而偏差匹配和固定方向控制分别为89.9%和87.0%。类似的持久影响也在自回归OpenVLA上观察到。恢复适配器在一块延迟下将恢复率从7.7%提高到47.4%，但随着干预延迟，其效果显著下降。这些结果表明，对抗性影响在补丁移除后仍然存在，及时干预对恢复至关重要。

🔬 方法详解

问题定义：本文旨在解决对抗性补丁对视觉-语言-动作策略造成的即时动作损坏与持久状态影响的评估问题。现有方法未能有效区分这两种影响，导致评估结果不够全面。

核心思路：论文提出了一种状态恢复协议，通过在匹配的动作块边界移除补丁，评估在相同剩余步骤预算下的可恢复性，从而提供更精确的对抗性影响评估。

技术框架：整体架构包括状态恢复协议、对抗性补丁的应用、以及恢复适配器的训练。主要模块包括补丁移除、可恢复性测量和干预延迟控制。

关键创新：最重要的技术创新在于提出了状态恢复协议，能够有效区分对抗性影响与其他因素，并通过恢复适配器提高恢复率。这与现有方法的评估方式有本质区别。

关键设计：在实验中，采用了干净、随机补丁、偏差匹配和固定方向的控制设置，以区分不同影响因素。同时，恢复适配器的训练基于攻击引起的状态，优化了干预延迟的影响。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，在OpenVLA-OFT上，经过EDPA攻击后，仅有36.2%的LIBERO-Long剧集在五个块后仍可恢复，显著低于偏差匹配和固定方向控制的89.9%和87.0%。恢复适配器在一块延迟下将恢复率从7.7%提升至47.4%，但随着干预延迟，其效果显著下降，强调了及时干预的重要性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶和人机交互等需要视觉-语言-动作协同的系统。通过提高对抗性攻击的恢复能力，可以增强系统的鲁棒性和安全性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Adversarial patches to Vision-Language-Action (VLA) policies can cause both immediate action corruption and persistent state effects that remain after the patch is removed. Existing evaluations largely focus on continuous attacks and do not separate these two effects. We introduce a state-restoration protocol that removes the patch at matched action-chunk boundaries and measures subsequent recoverability under the same remaining step budget. Clean, random-patch, deviation-matched, and fixed-direction controls distinguish adversarial effects from occlusion, action-error magnitude, and directional persistence. We also evaluate a recovery adapter trained on attack-induced states under controlled intervention latency. On OpenVLA-OFT with EDPA attacks, only 36.2% of LIBERO-Long episodes remain recoverable after five chunks, compared with 89.9% and 87.0% for the deviation-matched and fixed-direction controls. Similar persistent effects are observed on autoregressive OpenVLA. The recovery adapter improves recovery from 7.7% to 47.4% at one-chunk latency, but its benefit decreases substantially with delayed intervention. These results show that adversarial effects can persist after patch removal and that timely intervention is critical for recovery.