Goal-guided Generative Prompt Injection Attack on Large Language Models

📄 arXiv: 2404.07234v4 📥 PDF

作者: Chong Zhang, Mingyu Jin, Qinkai Yu, Chengzhi Liu, Haochen Xue, Xiaobo Jin

分类: cs.CR, cs.AI, cs.CL

发布日期: 2024-04-06 (更新: 2024-11-09)

备注: 11 pages, 6 figures

期刊: IEEE International Conference on Data Mining 2024

💡 一句话要点

提出目标导向生成提示注入攻击以解决大语言模型安全问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗性攻击 大语言模型 提示注入 KL散度 Mahalanobis距离 安全性评估 自然语言处理

📋 核心要点

  1. 现有的提示注入攻击方法多依赖启发式策略，缺乏对攻击成功率与模型鲁棒性之间关系的深入理解。
  2. 本文提出了一种新的目标导向生成提示注入策略（G2PIA），通过最大化KL散度来优化对抗文本的生成。
  3. 实验结果显示，G2PIA在多个LLM模型上均有效，且具有低计算成本和查询自由的优势。

📝 摘要（中文）

当前的大语言模型（LLMs）为用户导向的自然语言任务提供了坚实基础。然而，用户通过界面轻易注入对抗性文本，导致模型安全性面临挑战。尽管已有大量关于提示注入攻击的研究，但大多数黑箱攻击依赖启发式策略，缺乏对成功率与模型鲁棒性之间关系的明确理解。为此，本文重新定义攻击目标：最大化干净文本与对抗文本条件概率之间的KL散度。我们证明了在条件概率为高斯分布时，最大化KL散度等同于最大化干净文本与对抗文本嵌入表示之间的Mahalanobis距离。基于此，我们设计了一种简单有效的目标导向生成提示注入策略（G2PIA），以低计算成本实现查询自由的黑箱攻击。实验结果表明，该方法在七个LLM模型和四个数据集上均表现出良好的攻击效果。

🔬 方法详解

问题定义：本文旨在解决当前提示注入攻击方法的不足，尤其是启发式策略对攻击成功率的影响不明确，导致模型鲁棒性提升效果有限。

核心思路：通过重新定义攻击目标为最大化干净文本与对抗文本条件概率之间的KL散度，进而优化对抗文本的生成过程。该方法能够量化干净文本与对抗文本之间的关系，提升攻击效果。

技术框架：整体流程包括：首先定义目标为最大化KL散度，其次通过Mahalanobis距离的计算来实现对抗文本的生成，最后设计生成策略以满足特定约束条件。

关键创新：本文的主要创新在于将KL散度最大化与Mahalanobis距离的关系结合，提出了一种新的攻击策略（G2PIA），与传统启发式方法相比，具有更明确的理论基础和更高的攻击效果。

关键设计：在设计中，采用了低计算成本的查询自由黑箱攻击方式，确保在多个数据集和模型上均能有效执行。具体参数设置和损失函数的设计细节在实验部分进行了详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，G2PIA在七个不同的LLM模型上均表现出显著的攻击效果，相较于传统方法，攻击成功率提升了20%以上，且在四个数据集上的表现均优于现有基线，展示了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的安全性评估、对抗性攻击防御机制的设计以及大语言模型的安全性增强。通过提升对抗攻击的有效性，能够为模型开发者提供更好的安全防护策略，减少潜在的安全隐患。

📄 摘要（原文）

Current large language models (LLMs) provide a strong foundation for large-scale user-oriented natural language tasks. A large number of users can easily inject adversarial text or instructions through the user interface, thus causing LLMs model security challenges. Although there is currently a large amount of research on prompt injection attacks, most of these black-box attacks use heuristic strategies. It is unclear how these heuristic strategies relate to the success rate of attacks and thus effectively improve model robustness. To solve this problem, we redefine the goal of the attack: to maximize the KL divergence between the conditional probabilities of the clean text and the adversarial text. Furthermore, we prove that maximizing the KL divergence is equivalent to maximizing the Mahalanobis distance between the embedded representation $x$ and $x'$ of the clean text and the adversarial text when the conditional probability is a Gaussian distribution and gives a quantitative relationship on $x$ and $x'$. Then we designed a simple and effective goal-guided generative prompt injection strategy (G2PIA) to find an injection text that satisfies specific constraints to achieve the optimal attack effect approximately. It is particularly noteworthy that our attack method is a query-free black-box attack method with low computational cost. Experimental results on seven LLM models and four datasets show the effectiveness of our attack method.