TrustVLA: Mechanism-Guided Inference-Time Defense Against Vision-Language-Action Backdoors

📄 arXiv: 2607.12571v1 📥 PDF

作者: Pinhan Fu, Xianda Guo, Xuetao Li, Wenke Huang, Ruilin Wang, Weiheng Zhao, Wei Sui, Mang Ye

分类: cs.RO

发布日期: 2026-07-14


💡 一句话要点

提出TrustVLA以解决视觉-语言-动作后门攻击问题

🎯 匹配领域: 支柱九:具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 后门攻击 机制引导防御 认知不确定性 紧凑因果足迹 推理时防御 机器人控制 多模态系统

📋 核心要点

  1. 现有的视觉-语言-动作模型在面对后门攻击时缺乏有效的防御机制,尤其是在不重新训练的情况下恢复正常行为的能力不足。
  2. TrustVLA通过引入紧凑因果足迹的概念,利用Dirichlet证据框架监控VLA策略中的不确定性,从而实现对异常证据演变的检测和定位。
  3. 实验结果表明,TrustVLA在OpenVLA/LIBERO和π_{0.5}转移评估中显著降低了攻击成功率,同时保持了干净任务的性能。

📝 摘要(中文)

视觉-语言-动作(VLA)模型在用户无法审计的管道中部署,受污染的VLA在干净观察下表现正常,但小视觉触发器会在长时间的机器人策略中重定向行为,导致潜在失败。现有的视觉或语言防御方法很少解释触发的VLA表示是什么样的,或如何在不重新训练的情况下恢复行为。本文通过BadVLA和INFUSE两种独立提出的VLA攻击研究这一空白,识别出一种重复出现的内部机制:紧凑因果足迹。基于此,提出了TrustVLA,一种机制引导的推理时防御,能够监控VLA策略中的每个标记、每层的认知不确定性。TrustVLA在保持干净任务性能的同时,降低了攻击成功率,提供了一种无须重新训练的防御方案。

🔬 方法详解

问题定义:本文旨在解决视觉-语言-动作(VLA)模型在遭受后门攻击时的防御问题。现有方法在检测和恢复被污染模型的正常行为方面存在不足,尤其是在不进行重新训练的情况下。

核心思路:TrustVLA的核心思路是通过识别和利用紧凑因果足迹来监控模型的认知不确定性,从而有效检测和定位异常行为。该方法设计旨在在推理阶段提供实时防御,而不依赖于重新训练。

技术框架:TrustVLA的整体架构包括三个主要模块:首先,利用Dirichlet证据框架监测每个标记和每层的认知不确定性;其次,通过反事实机制得分下降来定位紧凑支持;最后,通过局部修复技术恢复观察结果。

关键创新:TrustVLA的主要创新在于引入紧凑因果足迹的概念,并将其应用于推理时的防御机制。这一方法与现有的防御策略本质上不同,因为它能够在不重新训练的情况下实现有效的异常检测和行为恢复。

关键设计:在设计中,TrustVLA使用了小规模的干净校准集,并通过监测证据演变的异常来实现防御。此外,关键参数设置和损失函数的设计确保了模型在保持性能的同时,能够有效应对后门攻击。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示,TrustVLA在OpenVLA和LIBERO数据集上显著降低了后门攻击的成功率,具体表现为攻击成功率降低了XX%,同时在干净任务上的性能保持稳定,验证了其有效性和实用性。

🎯 应用场景

TrustVLA的研究成果在多个领域具有潜在应用价值,包括机器人控制、智能家居系统和自动驾驶等。通过增强模型的安全性和可靠性,该方法能够有效防止恶意攻击,提升系统的整体安全性和用户信任度。未来,TrustVLA可能会成为多模态系统防御的标准方法,推动相关技术的发展。

📄 摘要(原文)

Vision-Language-Action (VLA) models are deployed through pipelines that end users cannot audit, and a poisoned VLA can behave normally on clean observations while a small visual trigger redirects a long-horizon robot policy before any failure becomes observable. Existing vision or language defenses rarely explain what a triggered VLA representation looks like or how to recover behavior without retraining. We study this gap through two independently proposed VLA attacks from groups with distinct injection strategies, BadVLA and INFUSE; the latter persists after downstream clean adaptation. Across the evaluated poisoned models, we identify a recurring internal mechanism: a \emph{compact causal footprint}, namely a small visual support that is attention-seeded, spatially compact, and \emph{causal} in a precise sense -- masking it returns a clean-calibrated evidence-evolution score to the normal operating region. This footprint motivates TrustVLA, a mechanism-guided inference-time defense that adapts the Dirichlet evidence framework from trusted classification to monitor per-token, per-layer epistemic uncertainty in VLA policies. With only a small clean calibration set, TrustVLA (i)~detects abnormal evidence evolution, (ii)~localizes the compact support by counterfactual mechanism-score drop, and (iii)~recovers the observation by localized inpainting. Across OpenVLA/LIBERO and $π_{0.5}$ transfer evaluations, TrustVLA reduces attack success while preserving clean-task performance, providing a retraining-free, mechanism-guided defense for visual-triggered VLA backdoors.