Low Rank Adaptation for Adversarial Perturbation

📄 arXiv: 2604.27487v1 📥 PDF

作者: Han Liu, Shanghao Shi, Yevgeniy Vorobeychik, Chongjie Zhang, Ning Zhang

分类: cs.LG, cs.CR

发布日期: 2026-04-30

💡 一句话要点

利用低秩适应提升对抗扰动攻击效率与效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗攻击 低秩适应 黑盒攻击 对抗扰动 模型安全

📋 核心要点

  1. 黑盒对抗攻击需要大量的查询，效率低下，是现有方法的主要挑战。
  2. 论文核心思想是利用对抗扰动的低秩特性，将扰动搜索限制在低维子空间。
  3. 实验结果表明，该方法在多种攻击、模型和数据集上均能显著提升攻击效率和效果。

📝 摘要（中文）

本文研究表明，对抗扰动具有内在的低秩结构，这一发现为改进对抗攻击和防御提供了新的机会。借鉴低秩适应(LoRA)在大型语言模型训练中的成功经验，本文提出了一种新的黑盒对抗攻击方法。该方法首先利用参考模型和辅助数据将梯度投影到低维子空间，然后将黑盒攻击中的扰动搜索限制在这个低秩子空间内，从而显著提高对抗攻击的效率和有效性。在各种攻击方法、模型架构和数据集上的评估结果表明，与传统方法相比，本文提出的低秩对抗攻击在性能上取得了显著且一致的改进。

🔬 方法详解

问题定义：黑盒对抗攻击通常需要大量的查询才能找到有效的对抗样本，计算成本高昂，效率低下。现有的黑盒攻击方法难以在资源受限的环境下应用，限制了其在实际场景中的应用范围。因此，如何提高黑盒对抗攻击的效率，减少查询次数，是一个重要的研究问题。

核心思路：论文的核心思路是利用对抗扰动本身所具有的低秩结构。类似于模型参数更新通常位于低维空间，对抗扰动也可以用低秩矩阵来近似表示。通过将扰动限制在低秩子空间中搜索，可以显著减少搜索空间，从而提高攻击效率。这样设计的目的是为了在保证攻击效果的前提下，降低计算复杂度，使得黑盒攻击更具实用性。

技术框架：该方法主要包含两个步骤：1) 低秩子空间构建：利用参考模型和辅助数据，通过某种方式（例如梯度投影）学习一个低维子空间，该子空间能够较好地近似表示对抗扰动。2) 低秩扰动搜索：在黑盒攻击过程中，将扰动限制在第一步构建的低秩子空间内进行搜索。具体而言，可以先在低秩子空间中生成扰动，然后将该扰动添加到原始样本中，并评估攻击效果。

关键创新：该方法最重要的创新点在于发现了对抗扰动的低秩特性，并将其应用于黑盒对抗攻击中。与传统的黑盒攻击方法相比，该方法不再盲目地在整个扰动空间中搜索，而是有针对性地在低秩子空间中进行搜索，从而大大提高了攻击效率。这种利用数据内在结构来优化攻击过程的思想具有重要的借鉴意义。

关键设计：论文的关键设计包括：1) 如何选择合适的参考模型和辅助数据来构建低秩子空间；2) 如何将梯度投影到低维子空间；3) 如何在低秩子空间中高效地搜索对抗扰动。具体的参数设置、损失函数和网络结构等细节取决于具体的攻击方法和模型架构，论文可能针对不同的情况进行了不同的设计。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在多种攻击方法、模型架构和数据集上均取得了显著的性能提升。与传统黑盒攻击方法相比，该方法能够在更少的查询次数下成功生成对抗样本，并且生成的对抗样本具有更高的攻击成功率。具体的性能提升幅度取决于具体的实验设置，但总体而言，该方法能够显著提高黑盒对抗攻击的效率和效果。

🎯 应用场景

该研究成果可应用于提高针对图像识别、语音识别等人工智能系统的对抗攻击效率，也可用于开发更有效的对抗防御机制。例如，可以利用低秩特性来检测和过滤对抗样本，或者设计更鲁棒的模型。此外，该方法还可以应用于安全攸关的领域，如自动驾驶、医疗诊断等，提高这些系统的安全性。

📄 摘要（原文）

Low-Rank Adaptation (LoRA), which leverages the insight that model updates typically reside in a low-dimensional space, has significantly improved the training efficiency of Large Language Models (LLMs) by updating neural network layers using low-rank matrices. Since the generation of adversarial examples is an optimization process analogous to model training, this naturally raises the question: Do adversarial perturbations exhibit a similar low-rank structure? In this paper, we provide both theoretical analysis and extensive empirical investigation across various attack methods, model architectures, and datasets to show that adversarial perturbations indeed possess an inherently low-rank structure. This insight opens up new opportunities for improving both adversarial attacks and defenses. We mainly focus on leveraging this low-rank property to improve the efficiency and effectiveness of black-box adversarial attacks, which often suffer from excessive query requirements. Our method follows a two-step approach. First, we use a reference model and auxiliary data to guide the projection of gradients into a low-dimensional subspace. Next, we confine the perturbation search in black-box attacks to this low-rank subspace, significantly improving the efficiency and effectiveness of the adversarial attacks. We evaluated our approach across a range of attack methods, benchmark models, datasets, and threat models. The results demonstrate substantial and consistent improvements in the performance of our low-rank adversarial attacks compared to conventional methods.