Backdoor as Probe: Test-Time Adversarial Defense for CLIP

📄 arXiv: 2609.34641v1 📥 PDF

作者: Zhongqi Wang, Jie Zhang, Nie Sen, Zhiyu Chen, Shiguang Shan, Xilin Chen

分类: cs.CV

发布日期: 2026-09-28

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Backdoor as Probe以解决CLIP模型的对抗性防御问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗性防御 视觉-语言模型 鲁棒性提升 后门机制 模型优化

📋 核心要点

  1. 现有的对抗性防御方法通常将对抗激活偏移视为失真，未能有效利用这些信号进行防御。
  2. 本文提出了Backdoor as Probe（BaP）方法，通过在MLP层中植入防御探针，利用对抗激活偏移进行有效的防御。
  3. 实验表明，BaP在16个基准测试中将鲁棒准确率从1.0%提升至52.3%，并保持了干净准确率，性能与最先进的方法相当。

📝 摘要（中文）

测试时对抗性防御提高了视觉-语言基础模型（如CLIP）的鲁棒性，而无需重新训练。然而，现有方法通常将对抗激活偏移视为需要抑制的失真，而非可利用的信号。本文提出了一种新方法，通过将触发器-目标机制重新用于防御信号，利用弱激活的干净输入和强激活的对抗偏移来构建防御探针。实验结果表明，该方法在16个基准测试中将鲁棒准确率从1.0%提升至52.3%，并实现了高达5.7倍的推理速度提升。

🔬 方法详解

问题定义：本文旨在解决视觉-语言模型（如CLIP）在测试时对抗攻击的防御问题。现有方法往往将对抗激活偏移视为失真，未能有效利用这些信号进行防御，导致鲁棒性不足。

核心思路：论文的核心思路是将对抗激活偏移转化为防御信号，通过植入一个防御者控制的后门探针，该探针在干净输入下弱激活，而在对抗偏移下强激活，从而实现有效的防御。

技术框架：BaP方法通过对选定的MLP层进行闭式模型编辑来构建探针。该方法将平均对抗激活偏移和防御者指定的语义方向投影到该层的低能量输入和输出激活子空间，以获得触发器和目标方向。在推理时，对抗输入沿目标方向产生可测量的响应。

关键创新：最重要的技术创新在于将后门机制重新用于防御信号的构建，利用对抗激活偏移的特性进行有效的检测和修正。这一方法与现有的对抗防御技术本质上不同，提供了一种新的思路。

关键设计：在实现中，BaP通过优化小扰动来选择性修正检测到的输入，确保其表示从对抗偏移转向干净子空间。具体的参数设置和损失函数设计确保了探针的有效性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，BaP方法在16个基准测试中将鲁棒准确率从1.0%提升至52.3%，同时保持了干净准确率，且在推理速度上实现了高达5.7倍的提升，展现出与最先进方法相当的性能。

🎯 应用场景

该研究的潜在应用领域包括安全性要求高的视觉-语言任务，如自动驾驶、医疗影像分析和安全监控等。通过提高模型的鲁棒性，BaP方法能够在对抗环境中保持高效的性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Test-time adversarial defense improves the robustness of vision-language foundation models such as CLIP without retraining. However, adversarial activation shifts are typically treated as distortions to suppress, rather than signals to exploit. We turn these shifts into defense signals by repurposing the trigger-to-target mechanism of backdoors. The key is to implant a defender-controlled backdoor as a probe that is weakly activated by clean inputs but strongly activated by adversarial shifts. Based on this insight, we propose \emph{Backdoor as Probe} (BaP), a test-time adversarial defense for CLIP. BaP constructs the probe through a closed-form model edit to a selected MLP layer. It projects the average adversarial activation shift and a defender-specified semantic direction onto the layer's low-energy input and output activation subspaces to obtain the trigger and target directions, respectively. At inference time, adversarial inputs produce measurable responses along the target direction for detection. BaP then selectively rectifies detected inputs by optimizing a small perturbation that steers their representations away from adversarial shifts and toward the clean subspace. Experiments across 16 benchmarks show that BaP improves average robust accuracy from 1.0\% to 52.3\% while retaining clean accuracy, achieving performance comparable to state-of-the-art methods with up to a (5.7\times) inference speedup. BaP further shows the generalization to adversarial attacks on large vision-language models. Project page: https://robin-wzq.github.io/Backdoor-as-Probe/