Iterative Prompting with Persuasion Skills in Jailbreaking Large Language Models

📄 arXiv: 2503.20320v1 📥 PDF

作者: Shih-Wen Ke, Guan-Yu Lai, Guo-Lin Fang, Hsi-Yuan Kao

分类: cs.CL, cs.AI, cs.ET

发布日期: 2025-03-26

💡 一句话要点

提出迭代提示攻击方法，利用说服技巧提升大语言模型越狱成功率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 越狱攻击 迭代提示 说服技巧 安全评估

📋 核心要点

  1. 大型语言模型存在安全和伦理限制，但现有方法难以有效突破这些限制，对模型安全构成潜在威胁。
  2. 论文提出一种迭代提示技术，通过分析LLM的响应模式，迭代优化提示，并结合说服策略，逐步提高越狱攻击的成功率。
  3. 实验结果表明，该方法在多个LLM上取得了显著的攻击成功率提升，并在某些模型上达到了90%，证明了其有效性。

📝 摘要（中文）

本研究探索了一种迭代提示技术，用于攻击大型语言模型（LLMs），旨在突破其安全和伦理限制。该技术通过多次迭代，系统性地修改和优化提示，逐步提高越狱攻击的有效性。通过分析GPT-3.5、GPT-4、LLaMa2、Vicuna和ChatGLM等LLM的响应模式，调整和优化提示，以规避其安全约束。同时，利用说服策略增强提示的有效性，并保持与恶意意图的一致性。实验结果表明，随着攻击提示的不断优化，攻击成功率（ASR）显著提高，GPT4和ChatGLM的最高ASR达到90%，LLaMa2的最低ASR为68%。该技术在ASR方面优于基线技术（PAIR和PAP），并与GCG和ArtPrompt表现出相当的性能。

🔬 方法详解

问题定义：论文旨在解决如何有效突破大型语言模型的安全和伦理限制，即“越狱”LLM的问题。现有方法在面对不断增强的防御机制时，攻击成功率较低，难以充分利用LLM的漏洞。因此，需要一种更具适应性和迭代性的攻击方法。

核心思路：核心思路是通过迭代地修改和优化提示，逐步逼近LLM的安全边界。每次迭代都基于LLM的响应进行分析，从而调整提示，使其更有效地规避安全约束。此外，引入说服技巧，使提示更具迷惑性，从而提高攻击成功率。

技术框架：整体流程包括以下几个阶段：1) 初始提示生成：根据目标恶意行为，生成初始提示。2) LLM响应分析：将提示输入LLM，分析其响应，识别安全策略的触发点。3) 提示优化：基于响应分析结果，修改和优化提示，例如调整措辞、改变攻击角度等。4) 迭代：重复步骤2和3，直到达到预期的攻击效果或达到最大迭代次数。5) 评估：评估最终提示的攻击成功率。

关键创新：最重要的创新点在于迭代提示和说服技巧的结合。传统的攻击方法通常采用静态提示，难以适应LLM的动态防御机制。而迭代提示能够根据LLM的反馈进行调整，更具适应性。说服技巧的引入则进一步增强了提示的迷惑性，提高了攻击成功率。与现有方法相比，该方法更注重对LLM响应的分析和利用，从而实现更有效的攻击。

关键设计：关键设计包括：1) 迭代次数：需要根据具体LLM和攻击目标进行调整，以平衡攻击成功率和计算成本。2) 提示优化策略：可以采用不同的优化策略，例如基于规则的修改、基于梯度的方法等。3) 说服技巧：可以借鉴心理学和社会学中的说服技巧，例如权威论证、情感诉求等。4) 攻击成功率评估指标：采用攻击成功率（ASR）作为评估指标，衡量提示的有效性。

📊 实验亮点

实验结果表明，该方法在多个LLM上取得了显著的攻击成功率提升。在GPT-4和ChatGLM上，攻击成功率达到了90%，在LLaMa2上也有68%的成功率。与基线方法PAIR和PAP相比，该方法在攻击成功率上具有明显优势，并与GCG和ArtPrompt等先进方法表现出相当的性能。这些结果验证了该方法的有效性和优越性。

🎯 应用场景

该研究成果可应用于评估和提升大型语言模型的安全性。通过模拟攻击，可以发现LLM的安全漏洞，并针对性地进行防御加固。此外，该技术还可以用于开发更强大的安全检测工具，及时发现和阻止恶意提示，从而保护LLM免受攻击。该研究对于构建更安全、可靠的AI系统具有重要意义。

📄 摘要（原文）

Large language models (LLMs) are designed to align with human values in their responses. This study exploits LLMs with an iterative prompting technique where each prompt is systematically modified and refined across multiple iterations to enhance its effectiveness in jailbreaking attacks progressively. This technique involves analyzing the response patterns of LLMs, including GPT-3.5, GPT-4, LLaMa2, Vicuna, and ChatGLM, allowing us to adjust and optimize prompts to evade the LLMs' ethical and security constraints. Persuasion strategies enhance prompt effectiveness while maintaining consistency with malicious intent. Our results show that the attack success rates (ASR) increase as the attacking prompts become more refined with the highest ASR of 90% for GPT4 and ChatGLM and the lowest ASR of 68% for LLaMa2. Our technique outperforms baseline techniques (PAIR and PAP) in ASR and shows comparable performance with GCG and ArtPrompt.