GhostEncoder: Stealthy Backdoor Attacks with Dynamic Triggers to Pre-trained Encoders in Self-supervised Learning

📄 arXiv: 2310.00626v1 📥 PDF

作者: Qiannan Wang, Changchun Yin, Zhe Liu, Liming Fang, Run Wang, Chenhao Lin

分类: cs.CV, cs.CR

发布日期: 2023-10-01

备注: 24 pages,8 figures

💡 一句话要点

提出GhostEncoder以解决自监督学习中的隐形后门攻击问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 自监督学习 后门攻击 图像隐写术 安全性研究 动态触发模式 计算机视觉 攻击防御

📋 核心要点

  1. 现有的自监督学习后门攻击方法多采用可见或静态触发模式，导致后门攻击不够隐蔽，影响攻击效果。
  2. GhostEncoder提出了一种动态隐形后门攻击方法，通过图像隐写术将信息嵌入良性图像中，生成后门样本。
  3. 实验结果表明，GhostEncoder在三个下游任务中表现出高攻击成功率，并且能够有效抵御多种防御机制。

📝 摘要（中文）

在计算机视觉领域，自监督学习（SSL）涉及利用大量未标记图像训练预训练图像编码器。预训练图像编码器可作为特征提取器，帮助构建下游分类器。然而，SSL的使用导致了与各种后门攻击相关的安全研究增加。目前，针对SSL的后门攻击触发模式大多是可见或静态的，导致后门不够隐蔽，显著影响攻击性能。本文提出GhostEncoder，这是首个动态隐形后门攻击方法，利用图像隐写术将隐藏信息编码到良性图像中，生成后门样本。通过在操控数据集上微调预训练图像编码器，注入后门，使基于后门编码器构建的下游分类器能够继承后门行为。实验结果表明，GhostEncoder在图像上提供了实用的隐蔽性，并以高攻击成功率欺骗受害模型，同时不影响其效用。此外，GhostEncoder能够抵御最先进的防御机制，包括STRIP、STRIP-Cl和SSL-Cleanse。

🔬 方法详解

问题定义：本论文旨在解决自监督学习中的后门攻击隐蔽性不足的问题。现有方法多采用可见或静态的触发模式，导致攻击效果不佳，且容易被检测。

核心思路：GhostEncoder的核心思路是利用图像隐写术将隐藏信息编码到良性图像中，从而生成动态的后门样本。这种设计使得后门攻击更加隐蔽，难以被察觉。

技术框架：GhostEncoder的整体架构包括两个主要阶段：首先，通过隐写术在良性图像中嵌入后门信息；其次，对预训练的图像编码器进行微调，使其能够识别并利用这些后门样本。

关键创新：GhostEncoder的最大创新在于其动态隐形后门攻击的实现，区别于现有方法的静态和可见触发模式，使得后门攻击更加隐蔽且有效。

关键设计：在技术细节上，GhostEncoder采用了特定的隐写算法来确保信息嵌入的隐蔽性，并在微调过程中使用了适当的损失函数，以确保后门行为的有效性和下游任务的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GhostEncoder在三个下游任务中均表现出高达90%以上的攻击成功率，同时保持了模型的实用性。此外，GhostEncoder能够有效抵御STRIP、STRIP-Cl和SSL-Cleanse等最先进的防御机制，展示了其强大的隐蔽性和攻击能力。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的安全性研究，尤其是在自监督学习模型的安全性评估和防护措施的开发方面。GhostEncoder的隐蔽性特征使其在攻击模拟和安全测试中具有实际价值，未来可能影响自监督学习模型的设计与防护策略。

📄 摘要（原文）

Within the realm of computer vision, self-supervised learning (SSL) pertains to training pre-trained image encoders utilizing a substantial quantity of unlabeled images. Pre-trained image encoders can serve as feature extractors, facilitating the construction of downstream classifiers for various tasks. However, the use of SSL has led to an increase in security research related to various backdoor attacks. Currently, the trigger patterns used in backdoor attacks on SSL are mostly visible or static (sample-agnostic), making backdoors less covert and significantly affecting the attack performance. In this work, we propose GhostEncoder, the first dynamic invisible backdoor attack on SSL. Unlike existing backdoor attacks on SSL, which use visible or static trigger patterns, GhostEncoder utilizes image steganography techniques to encode hidden information into benign images and generate backdoor samples. We then fine-tune the pre-trained image encoder on a manipulation dataset to inject the backdoor, enabling downstream classifiers built upon the backdoored encoder to inherit the backdoor behavior for target downstream tasks. We evaluate GhostEncoder on three downstream tasks and results demonstrate that GhostEncoder provides practical stealthiness on images and deceives the victim model with a high attack success rate without compromising its utility. Furthermore, GhostEncoder withstands state-of-the-art defenses, including STRIP, STRIP-Cl, and SSL-Cleanse.