RECAP: A Resource-Efficient Method for Adversarial Prompting in Large Language Models

📄 arXiv: 2601.15331v1 📥 PDF

作者: Rishit Chugh

分类: cs.CL, cs.AI, cs.CR, cs.LG

发布日期: 2026-01-20

备注: Code for RECAP is available at: https://github.com/R-C101/RECAP

💡 一句话要点

RECAP：一种资源高效的LLM对抗提示方法，通过检索复用降低计算成本

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 对抗攻击 对抗提示 资源效率 红队测试

📋 核心要点

  1. 现有对抗提示方法如GCG计算成本高昂，限制了其在资源受限场景下的应用。
  2. RECAP通过检索预训练的对抗提示，避免了重新训练，从而降低了计算成本。
  3. 实验表明，该方法在降低计算成本的同时，实现了与现有方法相当的攻击成功率。

📝 摘要（中文）

大型语言模型（LLM）在部署时面临安全问题，因为它们容易在对抗性提示下产生有害或违反策略的输出。尽管对齐和防护措施可以缓解常见的滥用，但它们仍然容易受到诸如GCG、PEZ和GBDA等自动越狱方法的攻击，这些方法通过训练和基于梯度的搜索生成对抗性后缀。这些方法虽然有效，但特别是GCG，计算成本很高，限制了资源受限的组织的实用性。本文提出了一种资源高效的对抗提示方法，通过将新提示与预训练的对抗提示数据库进行匹配，从而消除了重新训练的需要。一个包含1000个提示的数据集被分为七个与危害相关的类别，并在Llama 3 8B模型上评估了GCG、PEZ和GBDA，以确定每个类别中最有效的攻击方法。结果表明提示类型和算法有效性之间存在相关性。通过检索语义相似的成功对抗提示，该方法以显著降低的计算成本实现了具有竞争力的攻击成功率。这项工作为对齐的LLM的可扩展红队测试和安全评估提供了一个实用的框架，包括在模型内部结构不可访问的环境中。

🔬 方法详解

问题定义：现有的大型语言模型对抗攻击方法，例如GCG、PEZ和GBDA，虽然能够有效地生成对抗性提示，但计算资源消耗巨大，尤其是在需要频繁进行红队测试和安全评估的场景下，这使得它们在资源有限的组织中难以实际应用。这些方法通常需要大量的计算资源来进行训练或梯度搜索，以找到能够诱导LLM产生有害或违反策略输出的提示。

核心思路：RECAP的核心思路是利用预先生成的对抗性提示库，通过检索与新提示语义相似的对抗性提示，来避免每次都从头开始生成对抗性提示。这种方法基于一个假设：相似的提示可能需要相似的对抗性后缀才能成功攻击LLM。通过复用已知的有效对抗性提示，可以显著降低计算成本。

技术框架：RECAP方法主要包含以下几个阶段：1) 构建对抗提示数据库：使用现有的对抗攻击方法（如GCG、PEZ、GBDA）针对不同类型的提示生成对抗性后缀，并将其存储在数据库中。2) 提示分类：将提示根据其语义和潜在危害进行分类。3) 相似性检索：对于新的提示，计算其与数据库中已有提示的语义相似度。4) 对抗提示复用：选择与新提示最相似的对抗提示，并将其应用于LLM。

关键创新：RECAP最重要的创新点在于其资源效率。与需要大量计算资源进行训练或搜索的现有方法不同，RECAP通过检索和复用预先生成的对抗性提示，显著降低了计算成本，使其更适用于资源受限的场景。此外，RECAP还揭示了提示类型和攻击算法有效性之间的相关性，这有助于选择最合适的攻击方法。

关键设计：RECAP的关键设计包括：1) 提示分类体系：论文将1000个提示分为七个与危害相关的类别，这有助于提高检索的准确性。2) 相似性度量：使用合适的语义相似度度量方法（具体方法未知）来计算新提示与数据库中已有提示的相似度。3) 攻击方法选择：根据提示类型选择最有效的攻击方法（GCG、PEZ或GBDA）来生成初始的对抗提示数据库。

📊 实验亮点

实验结果表明，RECAP在Llama 3 8B模型上实现了与现有对抗攻击方法相当的攻击成功率，同时显著降低了计算成本。论文发现提示类型和攻击算法有效性之间存在相关性，并据此选择了每个类别中最有效的攻击方法。具体性能数据和提升幅度未知。

🎯 应用场景

RECAP可应用于大规模语言模型的红队测试、安全评估和漏洞挖掘。它能够帮助组织在资源有限的情况下，有效地评估其LLM的安全性，并及时发现潜在的安全风险。该方法尤其适用于模型内部结构不可访问的场景，例如使用第三方API的场景。未来，RECAP可以扩展到支持更多类型的LLM和对抗攻击方法，并集成到自动化安全评估平台中。

📄 摘要（原文）

The deployment of large language models (LLMs) has raised security concerns due to their susceptibility to producing harmful or policy-violating outputs when exposed to adversarial prompts. While alignment and guardrails mitigate common misuse, they remain vulnerable to automated jailbreaking methods such as GCG, PEZ, and GBDA, which generate adversarial suffixes via training and gradient-based search. Although effective, these methods particularly GCG are computationally expensive, limiting their practicality for organisations with constrained resources. This paper introduces a resource-efficient adversarial prompting approach that eliminates the need for retraining by matching new prompts to a database of pre-trained adversarial prompts. A dataset of 1,000 prompts was classified into seven harm-related categories, and GCG, PEZ, and GBDA were evaluated on a Llama 3 8B model to identify the most effective attack method per category. Results reveal a correlation between prompt type and algorithm effectiveness. By retrieving semantically similar successful adversarial prompts, the proposed method achieves competitive attack success rates with significantly reduced computational cost. This work provides a practical framework for scalable red-teaming and security evaluation of aligned LLMs, including in settings where model internals are inaccessible.