Enhancing Adversarial Attacks through Chain of Thought

📄 arXiv: 2410.21791v1 📥 PDF

作者: Jingbo Su

分类: cs.CL

发布日期: 2024-10-29

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于思维链的GCG对抗攻击方法，提升LLM对抗攻击的迁移性和通用性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗攻击 大型语言模型 思维链 梯度攻击 LLM安全

📋 核心要点

  1. 现有对抗攻击方法难以有效攻击对齐的LLM，且迁移性和通用性不足。
  2. 论文提出CoT-GCG方法，利用CoT提示激发LLM推理能力，提升对抗攻击效果。
  3. 实验表明，CoT-GCG方法优于基线GCG攻击和CoT提示，并使用Llama Guard进行风险评估。

📝 摘要（中文）

大型语言模型（LLMs）在各个领域表现出令人印象深刻的性能，但仍然存在安全问题。先前的研究表明，基于梯度的对抗攻击对齐的LLMs特别有效，并且思维链（CoT）提示可以通过逐步推理来引出期望的答案。本文提出通过将CoT提示与贪婪坐标梯度（GCG）技术相结合，来增强对齐LLMs对抗攻击的鲁棒性。使用CoT触发器而不是肯定的目标，可以激发后端LLMs的推理能力，从而提高对抗攻击的迁移性和通用性。我们进行了一项消融研究，将我们的CoT-GCG方法与Amazon Web Services auto-cot进行了比较。结果表明，我们的方法优于基线GCG攻击和CoT提示。此外，我们使用Llama Guard来评估潜在的有害交互，与将输出与拒绝短语匹配相比，提供了对整个对话更客观的风险评估。本文的代码可在https://github.com/sujingbo0217/CS222W24-LLM-Attack 获取。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）的对抗攻击问题，特别是针对对齐的LLMs。现有的对抗攻击方法，如基于梯度的攻击，虽然有效，但通常缺乏足够的迁移性和通用性，难以在不同的LLM上产生稳定的攻击效果。此外，直接针对LLM输出进行攻击，可能无法充分利用LLM的推理能力，导致攻击效果受限。

核心思路：论文的核心思路是将思维链（CoT）提示融入到对抗攻击中。通过构造CoT触发器，引导LLM进行逐步推理，从而激发LLM的推理能力，使得对抗样本更具迷惑性，提高攻击的迁移性和通用性。这种方法不是直接操纵LLM的输出，而是通过影响其推理过程来实现攻击目的。

技术框架：论文采用的整体框架是将CoT提示与贪婪坐标梯度（GCG）技术相结合。首先，构造CoT提示作为对抗样本的触发器。然后，利用GCG算法，迭代地优化这些触发器，使其能够有效地诱导LLM产生不期望的输出。最后，使用Llama Guard等工具对攻击效果进行评估，以衡量对抗样本的风险。

关键创新：论文最重要的技术创新点在于将CoT提示引入到对抗攻击中。与传统的直接操纵LLM输出的攻击方法不同，该方法通过影响LLM的推理过程来实现攻击目的。这种方法能够更好地利用LLM的推理能力，从而提高攻击的迁移性和通用性。

关键设计：论文的关键设计包括CoT提示的构造方式和GCG算法的优化目标。CoT提示需要精心设计，以确保能够有效地引导LLM进行推理，并最终产生不期望的输出。GCG算法的优化目标是最大化LLM产生不期望输出的概率，同时需要考虑对抗样本的扰动程度，以避免引入过于明显的噪声。

📊 实验亮点

实验结果表明，提出的CoT-GCG方法在对抗攻击效果上优于基线GCG攻击和CoT提示。具体而言，CoT-GCG方法能够更有效地诱导LLM产生不期望的输出，并且具有更好的迁移性和通用性。此外，使用Llama Guard进行风险评估，能够更客观地评估整个对话的风险，为LLM的安全评估提供更全面的视角。

🎯 应用场景

该研究成果可应用于提升大型语言模型的安全性评估，帮助发现模型潜在的漏洞和弱点。通过对抗攻击，可以更全面地评估LLM在面对恶意输入时的鲁棒性，从而促进LLM的安全部署和应用，例如在智能客服、内容生成等领域。

📄 摘要（原文）

Large language models (LLMs) have demonstrated impressive performance across various domains but remain susceptible to safety concerns. Prior research indicates that gradient-based adversarial attacks are particularly effective against aligned LLMs and the chain of thought (CoT) prompting can elicit desired answers through step-by-step reasoning. This paper proposes enhancing the robustness of adversarial attacks on aligned LLMs by integrating CoT prompts with the greedy coordinate gradient (GCG) technique. Using CoT triggers instead of affirmative targets stimulates the reasoning abilities of backend LLMs, thereby improving the transferability and universality of adversarial attacks. We conducted an ablation study comparing our CoT-GCG approach with Amazon Web Services auto-cot. Results revealed our approach outperformed both the baseline GCG attack and CoT prompting. Additionally, we used Llama Guard to evaluate potentially harmful interactions, providing a more objective risk assessment of entire conversations compared to matching outputs to rejection phrases. The code of this paper is available at https://github.com/sujingbo0217/CS222W24-LLM-Attack.