BadApex: Backdoor Attack Based on Adaptive Optimization Mechanism of Black-box Large Language Models

📄 arXiv: 2504.13775v2 📥 PDF

作者: Zhengxian Wu, Juan Wen, Wanli Peng, Ziwei Zhang, Yinghan Zhou, Yiming Xue

分类: cs.CL, cs.CR

发布日期: 2025-04-18 (更新: 2025-04-21)

备注: 16 pages, 6 figures

💡 一句话要点

提出BadApex，一种基于自适应优化机制的黑盒大语言模型后门攻击方法。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 后门攻击 大语言模型 自适应优化 黑盒攻击 提示工程

📋 核心要点

  1. 现有的基于插入和释义的后门攻击忽略了中毒文本的质量以及与干净文本之间的语义一致性。
  2. BadApex设计了一种自适应优化机制，通过生成和修改代理迭代地优化初始提示，从而生成高质量的中毒文本。
  3. 实验结果表明，BadApex在提示适应性、语义一致性和文本质量方面优于现有技术，且防御后的攻击成功率仍高达96.75%。

📝 摘要（中文）

本文提出了一种新颖的后门攻击方法BadApex，该方法基于黑盒大语言模型的自适应优化机制。BadApex利用黑盒大语言模型通过精炼的提示生成中毒文本。具体来说，设计了一种自适应优化机制，利用生成和修改代理迭代地精炼初始提示。生成代理基于初始提示生成中毒文本，然后修改代理评估中毒文本的质量并精炼新的提示。经过多次迭代后，使用精炼的提示通过大语言模型生成中毒文本。在三个数据集上进行了大量实验，并使用了六种后门攻击和两种防御方法。实验结果表明，BadApex显著优于最先进的攻击方法，提高了提示的适应性、语义一致性和文本质量。此外，在应用两种防御方法后，平均攻击成功率（ASR）仍然高达96.75%。

🔬 方法详解

问题定义：论文旨在解决现有后门攻击方法在生成中毒文本时，文本质量不高、与原始文本语义不一致，以及对提示工程依赖专家经验，导致提示适应性差和防御后攻击性能下降的问题。现有方法难以在保证攻击效果的同时，兼顾中毒样本的隐蔽性。

核心思路：论文的核心思路是利用黑盒大语言模型（LLM）的自适应优化能力，通过迭代地优化提示（prompt）来生成高质量的中毒文本。通过设计生成代理和修改代理，模拟LLM的优化过程，从而找到更有效的提示，提高攻击的成功率和隐蔽性。

技术框架：BadApex的整体框架包含以下几个主要阶段： 1. 初始化提示：首先，根据任务和目标，设计一个初始的提示。 2. 生成中毒文本：使用生成代理（Generation Agent），基于当前的提示，利用黑盒LLM生成中毒文本。 3. 评估文本质量并修改提示：使用修改代理（Modification Agent），评估生成的中毒文本的质量（例如，流畅度、语义一致性等），并根据评估结果修改当前的提示。 4. 迭代优化：重复步骤2和3，多次迭代，直到提示达到预定的优化目标或达到最大迭代次数。 5. 生成最终中毒文本：使用优化后的提示，生成最终的中毒文本，用于后门攻击。

关键创新：BadApex的关键创新在于其自适应优化机制，该机制能够自动地优化提示，而无需人工干预或专家经验。这种自适应优化机制使得攻击方法能够更好地适应不同的数据集和防御策略，提高了攻击的鲁棒性和泛化能力。与现有方法相比，BadApex不再依赖于手工设计的提示，而是通过迭代优化来发现更有效的提示。

关键设计： * 生成代理 (Generation Agent)：利用黑盒LLM，输入当前提示，生成中毒文本。具体实现可能涉及不同的采样策略（如top-k sampling, nucleus sampling）来控制生成文本的多样性。 * 修改代理 (Modification Agent)：评估生成文本的质量，并修改提示。评估指标可能包括困惑度（perplexity）、语义相似度等。修改提示的方法可以是基于梯度的方法，也可以是基于规则的方法。论文中具体使用的评估指标和修改方法未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，BadApex在三个数据集上显著优于现有的后门攻击方法。在应用两种防御方法后，BadApex的平均攻击成功率（ASR）仍然高达96.75%，表明其具有很强的鲁棒性。这些结果验证了BadApex在提示适应性、语义一致性和文本质量方面的优势。

🎯 应用场景

BadApex的研究成果可应用于评估和提升大型语言模型的安全性，尤其是在对抗后门攻击方面。该方法能够帮助研究人员更好地理解LLM的脆弱性，并开发更有效的防御机制。此外，该研究也提醒开发者在部署LLM时，需要关注潜在的安全风险，并采取相应的安全措施。

📄 摘要（原文）

Previous insertion-based and paraphrase-based backdoors have achieved great success in attack efficacy, but they ignore the text quality and semantic consistency between poisoned and clean texts. Although recent studies introduce LLMs to generate poisoned texts and improve the stealthiness, semantic consistency, and text quality, their hand-crafted prompts rely on expert experiences, facing significant challenges in prompt adaptability and attack performance after defenses. In this paper, we propose a novel backdoor attack based on adaptive optimization mechanism of black-box large language models (BadApex), which leverages a black-box LLM to generate poisoned text through a refined prompt. Specifically, an Adaptive Optimization Mechanism is designed to refine an initial prompt iteratively using the generation and modification agents. The generation agent generates the poisoned text based on the initial prompt. Then the modification agent evaluates the quality of the poisoned text and refines a new prompt. After several iterations of the above process, the refined prompt is used to generate poisoned texts through LLMs. We conduct extensive experiments on three dataset with six backdoor attacks and two defenses. Extensive experimental results demonstrate that BadApex significantly outperforms state-of-the-art attacks. It improves prompt adaptability, semantic consistency, and text quality. Furthermore, when two defense methods are applied, the average attack success rate (ASR) still up to 96.75%.