BiasJailbreak:Analyzing Ethical Biases and Jailbreak Vulnerabilities in Large Language Models

📄 arXiv: 2410.13334v5 📥 PDF

作者: Isack Lee, Haebin Seong

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-10-17 (更新: 2025-11-25)

备注: Accepted as a workshop paper at AAAI 2026

💡 一句话要点

BiasJailbreak：揭示并利用大语言模型中的伦理偏见进行对抗攻击，并提出防御方法。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 伦理偏见 越狱攻击 对抗攻击 安全防御 BiasJailbreak BiasDefense

📋 核心要点

  1. 大型语言模型存在伦理偏见，这些偏见可能被恶意利用，导致生成有害内容，绕过安全对齐机制，现有方法对此缺乏有效应对。
  2. 论文提出BiasJailbreak，通过自动生成有偏见的关键词来攻击LLM，并利用这些关键词诱导LLM生成有害内容。
  3. 论文提出BiasDefense，通过在生成内容前注入防御提示来防止越狱攻击，实验表明该方法能有效降低越狱成功率。

📝 摘要（中文）

大型语言模型（LLMs）在各种任务中表现出令人印象深刻的能力，但也存在潜在的安全风险，例如“越狱（jailbreaks）”，即恶意输入可以强制LLMs生成有害内容，绕过安全对齐。本文深入研究了LLMs中的伦理偏见，并探讨了如何利用这些偏见进行越狱攻击。值得注意的是，这些偏见导致GPT-4o模型在非二元性别和顺性别关键词之间的越狱成功率相差20%，在白人和黑人关键词之间相差16%，即使提示的其他部分完全相同。我们引入了BiasJailbreak的概念，强调了这些安全诱导偏见带来的内在风险。BiasJailbreak通过询问目标LLM本身自动生成有偏见的关键词，并利用这些关键词生成有害输出。此外，我们提出了一种有效的防御方法BiasDefense，通过在生成之前注入防御提示来防止越狱尝试。BiasDefense是一种有吸引力的替代方案，可以替代诸如Llama-Guard之类的Guard模型，后者需要在文本生成后增加额外的推理成本。我们的研究结果强调，LLMs中的伦理偏见实际上可能导致生成不安全的内容，并提出了一种使LLMs更安全和公正的方法。为了进一步研究和改进，我们开源了BiasJailbreak的代码和工件，为社区提供了更好地理解和减轻LLMs中安全诱导偏见的工具。

🔬 方法详解

问题定义：论文旨在解决大型语言模型中存在的伦理偏见被恶意利用进行“越狱”攻击的问题。现有方法，如依赖人工设计的安全对齐或事后检测的Guard模型，无法有效应对利用偏见进行的对抗攻击，且Guard模型会增加额外的推理成本。

核心思路：论文的核心思路是揭示并利用LLM中存在的伦理偏见，通过自动化的方式生成能够触发这些偏见的关键词，从而实现对LLM的越狱攻击。同时，提出一种轻量级的防御机制，在生成内容之前注入防御提示，以降低越狱攻击的成功率。

技术框架：BiasJailbreak攻击框架包含以下几个主要步骤：1) 偏见关键词生成：利用目标LLM自身生成具有特定偏见的关键词。2) 提示生成：将生成的偏见关键词嵌入到提示中，构造对抗性输入。3) 越狱攻击：将对抗性输入输入到目标LLM，尝试诱导其生成有害内容。BiasDefense防御框架则是在提示生成之前，向提示中注入防御性的提示语，以降低越狱攻击的成功率。

关键创新：论文的关键创新在于：1) 提出了BiasJailbreak的概念，揭示了LLM中伦理偏见可能被利用进行对抗攻击的风险。2) 提出了一种自动化的偏见关键词生成方法，能够高效地生成有效的对抗性输入。3) 提出了一种轻量级的防御方法BiasDefense，无需额外的推理成本，即可有效降低越狱攻击的成功率。

关键设计：BiasJailbreak的关键设计在于偏见关键词的生成方式，通过向LLM提问，例如“与[特定群体]相关的负面词语有哪些？”，来获取具有偏见的关键词。BiasDefense的关键设计在于防御提示的选择，需要选择既能有效降低越狱攻击成功率，又不会过度影响LLM正常功能的提示语。具体参数设置和损失函数未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM中存在显著的伦理偏见，导致GPT-4o模型在非二元性别和顺性别关键词之间的越狱成功率相差20%，在白人和黑人关键词之间相差16%。BiasDefense能够有效降低越狱攻击的成功率，且无需额外的推理成本，是一种具有吸引力的防御方案。具体性能数据未知。

🎯 应用场景

该研究成果可应用于提升大型语言模型的安全性与公平性，降低其被恶意利用的风险。通过BiasJailbreak可以评估和发现LLM中存在的伦理偏见，BiasDefense则可以作为一种轻量级的防御手段，用于增强LLM的鲁棒性。未来可应用于内容审核、安全对话系统等领域。

📄 摘要（原文）

Although large language models (LLMs) demonstrate impressive proficiency in various tasks, they present potential safety risks, such as `jailbreaks', where malicious inputs can coerce LLMs into generating harmful content bypassing safety alignments. In this paper, we delve into the ethical biases in LLMs and examine how those biases could be exploited for jailbreaks. Notably, these biases result in a jailbreaking success rate in GPT-4o models that differs by 20\% between non-binary and cisgender keywords and by 16\% between white and black keywords, even when the other parts of the prompts are identical. We introduce the concept of BiasJailbreak, highlighting the inherent risks posed by these safety-induced biases. BiasJailbreak generates biased keywords automatically by asking the target LLM itself, and utilizes the keywords to generate harmful output. Additionally, we propose an efficient defense method BiasDefense, which prevents jailbreak attempts by injecting defense prompts prior to generation. BiasDefense stands as an appealing alternative to Guard Models, such as Llama-Guard, that require additional inference cost after text generation. Our findings emphasize that ethical biases in LLMs can actually lead to generating unsafe output, and suggest a method to make the LLMs more secure and unbiased. To enable further research and improvements, we open-source our code and artifacts of BiasJailbreak, providing the community with tools to better understand and mitigate safety-induced biases in LLMs.