Human-Interpretable Adversarial Prompt Attack on Large Language Models with Situational Context

📄 arXiv: 2407.14644v2 📥 PDF

作者: Nilanjana Das, Edward Raff, Manas Gaur

分类: cs.CL

发布日期: 2024-07-19 (更新: 2024-07-25)

💡 一句话要点

提出情境化对抗提示攻击，提升大语言模型攻击的人类可理解性与隐蔽性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗攻击 大型语言模型 提示工程 情境理解 安全性评估

📋 核心要点

  1. 现有对抗攻击主要依赖无意义的提示注入，易于检测，缺乏对人类可理解的恶意提示的探索。
  2. 论文提出一种情境驱动的上下文重写方法，将无意义的后缀攻击转化为人类可理解的提示，无需梯度计算。
  3. 实验证明该方法能成功攻击开源和专有LLM，且攻击具有跨模型迁移性，一次尝试即可成功。

📝 摘要（中文）

本文研究了针对大型语言模型（LLM）的对抗攻击，重点关注如何将以往研究中容易被检测的无意义提示注入，转化为更具人类可理解性的恶意提示。通过情境驱动的上下文重写，将无意义的后缀攻击转换为合理的提示，无需梯度即可实现攻击，从而更好地理解潜在风险范围。该方法结合了独立的、有意义的对抗性插入和从电影中提取的情境，以测试是否可以欺骗LLM。情境从IMDB数据集中提取，并遵循少样本链式思考提示定义提示。实验表明，情境驱动的攻击可以成功地在开源和专有LLM上执行。研究发现，在许多LLM中，只需一次尝试即可产生攻击，并且这些攻击可以在LLM之间转移。

🔬 方法详解

问题定义：现有针对大型语言模型的对抗攻击研究，主要集中在构造无意义的提示注入，例如随机字符串或特殊字符。这些攻击虽然能够成功诱导模型产生错误输出，但由于其明显的异常性，很容易通过人工审查或基于字节熵等指标的自动化检测方法识别和防御。因此，如何设计更具人类可理解性、更隐蔽的恶意提示，成为一个重要的研究问题。

核心思路：本文的核心思路是将无意义的对抗性后缀，通过情境化的上下文重写，转化为自然语言描述的、看似合理的提示。具体来说，利用从电影情节等真实场景中提取的情境信息，将原本随机的后缀嵌入到情境描述中，使得整个提示在语义上更加连贯，从而降低被检测的风险。

技术框架：该方法主要包含以下几个阶段：1) 对抗性插入：首先，独立生成一个有意义的对抗性插入，例如一段指令或陈述，旨在诱导模型产生特定类型的错误输出。2) 情境提取：从IMDB等数据集中提取电影情节描述，作为情境信息。3) 提示构建：将对抗性插入与情境信息结合，构建完整的提示。具体而言，采用少样本链式思考（few-shot chain-of-thought）提示方法，引导模型逐步推理，最终产生期望的错误输出。4) 攻击执行与评估：将构建的提示输入到目标LLM中，观察模型的输出是否符合预期，评估攻击的成功率。

关键创新：本文最重要的创新在于提出了情境驱动的对抗提示攻击方法，将对抗性注入与真实世界的情境相结合，显著提升了攻击的人类可理解性和隐蔽性。与以往的无意义提示注入相比，该方法更难被检测和防御，对LLM的安全性构成了更大的威胁。此外，该方法无需梯度计算，仅依赖LLM自身的能力进行提示转换，降低了攻击的实现难度。

关键设计：在提示构建阶段，采用了少样本链式思考提示方法，通过提供几个示例，引导模型逐步推理，从而更容易诱导模型产生期望的错误输出。情境信息的选择也至关重要，需要选择与对抗性插入在语义上具有一定关联性的情境，以保证提示的整体连贯性。此外，对抗性插入的设计也需要仔细考虑，需要选择能够有效诱导模型产生特定类型错误输出的指令或陈述。

📊 实验亮点

实验结果表明，该方法可以成功地在多种开源和专有LLM上执行情境驱动的对抗提示攻击。研究发现，在许多LLM中，只需一次尝试即可产生攻击，并且这些攻击具有跨模型迁移性，即在一个LLM上成功的攻击，也可以在其他LLM上生效。这表明LLM在对抗此类攻击方面存在普遍的脆弱性。

🎯 应用场景

该研究成果可应用于评估和提升大型语言模型的安全性，尤其是在对抗恶意提示攻击方面的鲁棒性。通过模拟真实场景下的攻击，可以更有效地发现LLM的潜在漏洞，并为开发更有效的防御机制提供指导。此外，该方法还可以用于生成更逼真的对抗样本，用于训练LLM的防御模型。

📄 摘要（原文）

Previous research on testing the vulnerabilities in Large Language Models (LLMs) using adversarial attacks has primarily focused on nonsensical prompt injections, which are easily detected upon manual or automated review (e.g., via byte entropy). However, the exploration of innocuous human-understandable malicious prompts augmented with adversarial injections remains limited. In this research, we explore converting a nonsensical suffix attack into a sensible prompt via a situation-driven contextual re-writing. This allows us to show suffix conversion without any gradients, using only LLMs to perform the attacks, and thus better understand the scope of possible risks. We combine an independent, meaningful adversarial insertion and situations derived from movies to check if this can trick an LLM. The situations are extracted from the IMDB dataset, and prompts are defined following a few-shot chain-of-thought prompting. Our approach demonstrates that a successful situation-driven attack can be executed on both open-source and proprietary LLMs. We find that across many LLMs, as few as 1 attempt produces an attack and that these attacks transfer between LLMs.