Stochastic Monkeys at Play: Random Augmentations Cheaply Break LLM Safety Alignment

📄 arXiv: 2411.02785v2 📥 PDF

作者: Jason Vega, Junsheng Huang, Gaokai Zhang, Hangoo Kang, Minjia Zhang, Gagandeep Singh

分类: cs.LG, cs.AI

发布日期: 2024-11-05 (更新: 2024-12-05)

备注: v2: Updated with changes from peer review rebuttal. v1: Version under peer review

🔗 代码/项目: GITHUB

💡 一句话要点

随机增强可有效绕过大语言模型安全对齐，揭示其脆弱性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 安全对齐 随机增强 越狱攻击 对抗性攻击

📋 核心要点

  1. 现有LLM安全对齐方法面临挑战，复杂的越狱攻击成本高昂，需要专业知识，限制了攻击的范围。
  2. 该研究探索了简单的随机增强方法，通过对输入提示进行随机修改，来绕过LLM的安全对齐机制。
  3. 实验表明，即使是低资源攻击者，通过少量随机增强，也能显著提高绕过LLM安全限制的可能性。

📝 摘要（中文）

大型语言模型（LLM）的安全对齐已成为模型开发者的关键目标。为了应对这一挑战，越来越多的研究致力于探索如何通过各种越狱方法（如对抗性攻击）绕过安全对齐。然而，这些越狱方法可能成本高昂，或者需要大量的创造力和努力，这使得人们假设恶意用户是高资源或复杂的。本文研究了对输入提示进行简单随机增强如何影响最先进的LLM（如Llama 3和Qwen 2）的安全对齐效果。我们对17种不同的模型进行了深入评估，并研究了随机增强下的安全性与多个维度（增强类型、模型大小、量化、基于微调的防御和解码策略（例如，采样温度））的交叉。我们表明，低资源和不复杂的攻击者，即“随机猴子”，只需对每个提示进行25次随机增强，就可以显著提高绕过对齐的机会。源代码和数据：https://github.com/uiuc-focal-lab/stochastic-monkeys/

🔬 方法详解

问题定义：现有的大语言模型安全对齐机制，虽然能防御一些精心设计的对抗性攻击，但对于简单的、随机的输入扰动是否足够鲁棒？现有越狱方法往往需要高资源或专业知识，忽略了低成本攻击的可能性。因此，论文关注的问题是：简单的随机增强能否有效绕过LLM的安全对齐？

核心思路：论文的核心思路是，通过模拟低资源攻击者的行为，即“随机猴子”，对输入提示进行随机的、无目的性的修改，观察这些修改是否能导致LLM生成不安全的输出。这种方法旨在揭示LLM安全对齐的脆弱性，并评估其在面对简单攻击时的鲁棒性。

技术框架：该研究的技术框架主要包括以下几个步骤：1）选择目标LLM，包括Llama 3和Qwen 2等；2）构建包含安全相关问题的提示语集合；3）对每个提示语进行多次随机增强，例如插入随机字符、替换词语、改变大小写等；4）将增强后的提示语输入LLM，并评估输出的安全性；5）分析不同增强类型、模型大小、量化、防御策略和解码策略对攻击成功率的影响。

关键创新：该研究的关键创新在于，它揭示了LLM安全对齐在面对简单随机增强时的脆弱性。与以往关注复杂对抗性攻击的研究不同，该研究表明，即使是低资源攻击者，通过简单的随机修改，也能有效绕过LLM的安全限制。这种发现对LLM的安全研究具有重要意义，因为它表明现有的安全对齐方法可能存在根本性的缺陷。

关键设计：研究中使用了多种随机增强方法，包括字符级别的插入、删除、替换，词语级别的同义词替换、随机插入，以及大小写变换等。对于每个提示语，进行25次随机增强。评估输出安全性的方法是人工评估，判断输出是否包含有害信息或违反安全协议。研究还考察了不同解码策略（如采样温度）对攻击成功率的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，即使只进行25次随机增强，攻击者也能显著提高绕过LLM安全限制的可能性。研究评估了17种不同的模型，并发现随机增强的有效性受到增强类型、模型大小、量化、防御策略和解码策略等因素的影响。例如，某些类型的增强方法比其他方法更有效，而较小的模型更容易受到攻击。

🎯 应用场景

该研究结果可应用于评估和改进LLM的安全对齐机制。通过模拟随机攻击，可以发现LLM安全漏洞，并开发更鲁棒的防御策略。此外，该研究也提醒开发者，需要关注低成本攻击的威胁，并设计更全面的安全防护方案。

📄 摘要（原文）

Safety alignment of Large Language Models (LLMs) has recently become a critical objective of model developers. In response, a growing body of work has been investigating how safety alignment can be bypassed through various jailbreaking methods, such as adversarial attacks. However, these jailbreak methods can be rather costly or involve a non-trivial amount of creativity and effort, introducing the assumption that malicious users are high-resource or sophisticated. In this paper, we study how simple random augmentations to the input prompt affect safety alignment effectiveness in state-of-the-art LLMs, such as Llama 3 and Qwen 2. We perform an in-depth evaluation of 17 different models and investigate the intersection of safety under random augmentations with multiple dimensions: augmentation type, model size, quantization, fine-tuning-based defenses, and decoding strategies (e.g., sampling temperature). We show that low-resource and unsophisticated attackers, i.e. $\textit{stochastic monkeys}$, can significantly improve their chances of bypassing alignment with just 25 random augmentations per prompt. Source code and data: https://github.com/uiuc-focal-lab/stochastic-monkeys/