Multilingual Jailbreak Challenges in Large Language Models

📄 arXiv: 2310.06474v3 📥 PDF

作者: Yue Deng, Wenxuan Zhang, Sinno Jialin Pan, Lidong Bing

分类: cs.CL

发布日期: 2023-10-10 (更新: 2024-03-04)

备注: ICLR 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出自我防御框架以应对大型语言模型的多语言监狱破解挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 监狱破解 多语言处理 安全微调 自我防御框架 恶意指令 跨语言应用

📋 核心要点

  1. 现有的安全措施主要集中在英语，忽视了多语言环境下的监狱破解问题，导致潜在的安全风险。
  2. 提出了一种自我防御框架，通过自动生成多语言训练数据来进行安全微调，从而增强模型的安全性。
  3. 实验结果表明，经过微调的ChatGPT在生成不安全内容方面显著降低，展示了该方法的有效性。

📝 摘要（中文）

大型语言模型（LLMs）在多种任务中展现出显著能力，但也存在潜在的安全隐患，如“监狱破解”问题，恶意指令可能操控LLMs表现出不当行为。尽管已有多种预防措施主要针对英语，但本研究揭示了LLMs中的多语言监狱破解挑战，考虑了无意和故意两种风险场景。实验结果显示，在无意场景中，低资源语言的有害内容出现概率是高资源语言的三倍；在故意场景中，多语言提示显著加剧了恶意指令的负面影响。为应对这一挑战，提出了一种新的自我防御框架，能够自动生成多语言训练数据以进行安全微调，实验表明该方法显著降低了不安全内容的生成。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在多语言环境下的监狱破解问题，现有方法主要集中在英语，未能有效应对其他语言的安全隐患。

核心思路：论文提出的自我防御框架通过自动生成多语言训练数据，进行安全微调，以增强模型对恶意指令的抵抗力。这样的设计旨在弥补现有方法在多语言处理上的不足。

技术框架：整体架构包括数据生成模块、训练模块和评估模块。数据生成模块负责创建多语言的安全训练数据，训练模块对模型进行微调，评估模块则用于测试模型在多语言环境下的安全性。

关键创新：最重要的技术创新点在于自动生成多语言训练数据的能力，这与现有方法依赖于手动标注数据的方式有本质区别，显著提高了效率和适应性。

关键设计：在模型微调过程中，采用了特定的损失函数以平衡安全性与生成质量，同时设计了多语言的输入输出结构，以确保模型能够有效处理不同语言的提示。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在无意场景中，低资源语言的有害内容出现概率是高资源语言的三倍；在故意场景中，ChatGPT的安全输出率为80.92%，而GPT-4为40.71%。经过自我防御框架微调的ChatGPT显著降低了不安全内容的生成，展示了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括多语言聊天机器人、跨语言内容生成和国际化的AI助手等。通过增强模型的安全性，可以有效降低恶意攻击的风险，提升用户信任度，具有重要的实际价值和未来影响。

📄 摘要（原文）

While large language models (LLMs) exhibit remarkable capabilities across a wide range of tasks, they pose potential safety concerns, such as the ``jailbreak'' problem, wherein malicious instructions can manipulate LLMs to exhibit undesirable behavior. Although several preventive measures have been developed to mitigate the potential risks associated with LLMs, they have primarily focused on English. In this study, we reveal the presence of multilingual jailbreak challenges within LLMs and consider two potential risky scenarios: unintentional and intentional. The unintentional scenario involves users querying LLMs using non-English prompts and inadvertently bypassing the safety mechanisms, while the intentional scenario concerns malicious users combining malicious instructions with multilingual prompts to deliberately attack LLMs. The experimental results reveal that in the unintentional scenario, the rate of unsafe content increases as the availability of languages decreases. Specifically, low-resource languages exhibit about three times the likelihood of encountering harmful content compared to high-resource languages, with both ChatGPT and GPT-4. In the intentional scenario, multilingual prompts can exacerbate the negative impact of malicious instructions, with astonishingly high rates of unsafe output: 80.92\% for ChatGPT and 40.71\% for GPT-4. To handle such a challenge in the multilingual context, we propose a novel \textsc{Self-Defense} framework that automatically generates multilingual training data for safety fine-tuning. Experimental results show that ChatGPT fine-tuned with such data can achieve a substantial reduction in unsafe content generation. Data is available at \url{https://github.com/DAMO-NLP-SG/multilingual-safety-for-LLMs}.