Jailbreaking LLMs with Arabic Transliteration and Arabizi

📄 arXiv: 2406.18725v2 📥 PDF

作者: Mansour Al Ghanim, Saleh Almohaimeed, Mengxin Zheng, Yan Solihin, Qian Lou

分类: cs.LG, cs.CL

发布日期: 2024-06-26 (更新: 2024-10-03)

备注: Accepted by EMNLP 2024

💡 一句话要点

利用阿拉伯语音译和Arabizi破解大型语言模型

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 越狱攻击 阿拉伯语 阿拉伯语音译 Arabizi 安全漏洞 提示工程

📋 核心要点

  1. 现有研究主要集中于英语环境下的LLM越狱攻击，忽略了其他语言的潜在风险，尤其是在阿拉伯语及其变体方面。
  2. 该研究探索了利用阿拉伯语音译和Arabizi（阿拉伯语聊天语）作为攻击媒介，以绕过LLM的安全机制，诱导其生成不安全内容。
  3. 实验表明，相较于标准阿拉伯语，使用阿拉伯语音译和Arabizi能更有效地破解GPT-4和Claude 3 Sonnet等模型，揭示了LLM在处理非标准语言形式时的脆弱性。

📝 摘要（中文）

本研究旨在识别大型语言模型（LLM）在“越狱”攻击中的潜在漏洞，特别关注阿拉伯语及其各种形式。虽然大多数研究集中于基于英语的提示操纵，但我们的研究将范围扩大到调查阿拉伯语。我们最初在标准化阿拉伯语中测试了AdvBench基准，发现即使使用诸如前缀注入之类的提示操纵技术，也不足以诱使LLM生成不安全的内容。然而，当使用阿拉伯语音译和聊天语（或arabizi）时，我们发现可以在OpenAI GPT-4和Anthropic Claude 3 Sonnet等平台上生成不安全的内容。我们的研究结果表明，使用阿拉伯语及其各种形式可能会暴露可能仍然隐藏的信息，从而可能增加越狱攻击的风险。我们假设这种暴露可能是由于模型学习到的与特定单词的联系，突出了在所有语言形式中进行更全面的安全培训的必要性。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）安全防护主要针对英语环境下的攻击，对于其他语言，特别是阿拉伯语及其变体（如阿拉伯语音译和Arabizi）的防御能力不足。现有的基于标准阿拉伯语的攻击方法难以有效突破LLM的安全限制，存在明显的防御漏洞。

核心思路：该研究的核心思路是利用LLM对于阿拉伯语不同形式（标准阿拉伯语、阿拉伯语音译、Arabizi）的理解差异，通过构造特定的阿拉伯语音译和Arabizi提示，绕过LLM的安全过滤机制，从而诱导其生成有害内容。这种方法基于LLM在不同语言形式上的知识不对等性。

技术框架：该研究主要采用黑盒测试方法，直接与LLM交互，通过构造不同的提示（prompt）来评估其安全性。具体流程包括：1) 使用标准阿拉伯语提示进行测试；2) 使用阿拉伯语音译提示进行测试；3) 使用Arabizi提示进行测试；4) 分析LLM在不同提示下的输出，判断是否成功绕过安全限制。

关键创新：该研究的关键创新在于发现了阿拉伯语音译和Arabizi作为LLM越狱攻击的有效媒介。与以往主要关注英语提示操纵的研究不同，该研究揭示了LLM在处理非标准阿拉伯语形式时的脆弱性，为LLM安全研究开辟了新的方向。

关键设计：研究中关键的设计在于提示的构造。研究人员需要设计能够利用LLM对于阿拉伯语音译和Arabizi的理解，同时又能绕过安全过滤器的提示。具体的提示设计细节（例如，使用的具体阿拉伯语音译和Arabizi词汇、提示的结构等）未在摘要中详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现，使用标准阿拉伯语的AdvBench基准测试难以破解LLM，但通过使用阿拉伯语音译和Arabizi，成功地在OpenAI GPT-4和Anthropic Claude 3 Sonnet等平台上生成了不安全内容。这表明LLM在处理非标准阿拉伯语形式时存在显著的安全漏洞。

🎯 应用场景

该研究成果可应用于提升LLM在多语言环境下的安全性，尤其是在阿拉伯语及其变体方面。有助于开发更有效的安全过滤机制，防止LLM被用于生成有害信息或传播不当内容。此外，该研究也提醒开发者需要加强对LLM在各种语言形式上的安全训练，以应对潜在的越狱攻击。

📄 摘要（原文）

This study identifies the potential vulnerabilities of Large Language Models (LLMs) to 'jailbreak' attacks, specifically focusing on the Arabic language and its various forms. While most research has concentrated on English-based prompt manipulation, our investigation broadens the scope to investigate the Arabic language. We initially tested the AdvBench benchmark in Standardized Arabic, finding that even with prompt manipulation techniques like prefix injection, it was insufficient to provoke LLMs into generating unsafe content. However, when using Arabic transliteration and chatspeak (or arabizi), we found that unsafe content could be produced on platforms like OpenAI GPT-4 and Anthropic Claude 3 Sonnet. Our findings suggest that using Arabic and its various forms could expose information that might remain hidden, potentially increasing the risk of jailbreak attacks. We hypothesize that this exposure could be due to the model's learned connection to specific words, highlighting the need for more comprehensive safety training across all language forms.