Selective Channel Restoration for Backdoored Vision-Language Models

📄 arXiv: 2609.37759v1 📥 PDF

作者: Shuming Liu, Zhifang Zhang, Suqin Yuan, Khin Mi Mi Aung, Zhuoyi Lin, Lei Feng

分类: cs.CR, cs.CV

发布日期: 2026-09-29

备注: 14 pages, 4 figures

💡 一句话要点

提出选择性通道恢复方法以解决视觉语言模型后门攻击问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 后门攻击 防御方法 多模态学习 稀疏更新

📋 核心要点

  1. 现有的防御方法在微调过程中需要大量参数更新，或在推理时增加额外的计算开销，限制了其实用性。
  2. 本文提出的PSR方法通过对投影接口进行稀疏更新，避免了在推理时的额外计算，提升了防御效率。
  3. 实验结果显示，PSR在多项任务中将后门攻击成功率降低至接近零，同时保持了干净任务的性能，展现了其有效性。

📝 摘要（中文）

视觉语言模型（VLMs）展现出强大的多模态能力，但仍然容易受到通过污染的微调数据植入的后门攻击。现有的防御方法通常需要在微调过程中进行大量参数更新，或在推理时增加每次查询的开销。为了解决这些局限性，本文提出了一种后训练防御方法——Perturb-Select-Restore（PSR），该方法对投影接口进行稀疏更新，并在推理过程中不引入额外计算。我们发现，后门VLM的投影器对有界扰动的敏感性显著高于干净VLM的投影器，这一现象被称为投影脆弱性。基于这一发现，PSR识别出每个投影层中对扰动最敏感的输出通道，并将其参数恢复到相应的预训练值。多项任务的实验表明，PSR将攻击成功率降低至接近零，同时保持干净任务的性能。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型（VLMs）在遭受后门攻击时的脆弱性，现有方法在防御时往往需要大量的参数更新或增加推理开销，影响了模型的实用性。

核心思路：PSR方法的核心思路是通过识别后门VLM中对扰动敏感的输出通道，并将其参数恢复到预训练值，从而有效抵御后门攻击。此设计利用了投影脆弱性这一现象，优化了防御过程。

技术框架：PSR的整体架构包括三个主要模块：首先，识别后门VLM中敏感的输出通道；其次，对这些通道进行稀疏更新；最后，恢复参数至预训练值，确保在推理时不增加计算负担。

关键创新：PSR的关键创新在于提出了投影脆弱性这一概念，揭示了后门VLM对扰动的敏感性显著高于干净VLM，从而为后门防御提供了新的思路。

关键设计：在参数设置上，PSR通过分析每个投影层的输出通道，选择性地进行恢复，避免了全参数更新的复杂性，损失函数设计上则侧重于保持干净任务的性能。整体网络结构保持了VLM的原有架构，确保了兼容性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，PSR在多项任务中将后门攻击的成功率降低至接近零，同时在干净任务上保持了良好的性能，展示了其在防御后门攻击方面的显著优势。

🎯 应用场景

该研究的潜在应用领域包括安全性要求高的视觉语言处理任务，如自动驾驶、智能监控和人机交互等。通过有效防御后门攻击，PSR能够提升这些系统的安全性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-language models (VLMs) exhibit strong multimodal capabilities but remain vulnerable to backdoors implanted through poisoned fine-tuning data. Existing defenses often require extensive parameter updates during fine-tuning or incur per-query overhead during inference. To address these limitations, we propose Perturb-Select-Restore (PSR), a post-training defense that performs sparse updates to the projection interface and introduces no additional computation during inference. We reveal that backdoored VLM projectors are substantially more sensitive to bounded perturbations than clean VLM projectors, a phenomenon we term projection fragility. Building on this finding, PSR identifies the output channels most sensitive to perturbations in each projection layer of a backdoored VLM and restores their parameters to the corresponding pretrained values. Experiments across multiple tasks show that PSR reduces attack success rates to near zero while preserving clean-task performance.