MrGuard: A Multilingual Reasoning Guardrail for Universal LLM Safety

📄 arXiv: 2504.15241v3 📥 PDF

作者: Yahan Yang, Soham Dan, Shuo Li, Dan Roth, Insup Lee

分类: cs.CL

发布日期: 2025-04-21 (更新: 2025-09-26)

备注: Preprint

💡 一句话要点

MrGuard：提出一种多语言推理安全防线，提升通用LLM在多语言环境下的安全性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言安全 大型语言模型 安全防线 对抗攻击 群体相对策略优化 课程学习 数据增强

📋 核心要点

  1. 现有LLM在多语言环境下安全性不足，易受攻击，缺乏有效的多语言安全防线。
  2. 提出MrGuard，一种具有推理能力的多语言安全防线，通过数据增强和策略优化提升性能。
  3. 实验表明，MrGuard在多语言环境下显著优于现有基线，提升超过15%，并具有良好的鲁棒性。

📝 摘要（中文）

大型语言模型（LLMs）容易受到对抗攻击，如越狱攻击，从而引发有害或不安全的行为。这种脆弱性在多语言环境中更加严重，因为多语言安全对齐的数据通常有限。因此，开发一种能够检测和过滤各种语言不安全内容的防线对于在实际应用中部署LLMs至关重要。本文介绍了一种具有推理能力的多语言防线，用于提示分类。我们的方法包括：（1）合成多语言数据，其中包含文化和语言细微差别的变体；（2）监督微调；（3）基于课程学习的群体相对策略优化（GRPO）框架，进一步提高性能。实验结果表明，我们的多语言防线MrGuard在领域内和领域外语言上的表现始终优于最新的基线，提升超过15%。我们还评估了MrGuard对多语言变体的鲁棒性，例如提示中的代码切换和低资源语言干扰，并证明它在这些具有挑战性的条件下保持了安全判断。我们防线的多语言推理能力使其能够生成解释，这对于理解多语言内容审核中特定于语言的风险和歧义特别有用。

🔬 方法详解

问题定义：论文旨在解决通用大型语言模型（LLMs）在多语言环境下容易受到对抗攻击，产生不安全内容的问题。现有的安全防线在多语言场景下表现不佳，因为缺乏足够的多语言安全对齐数据，并且难以处理不同语言的文化和语言差异。

核心思路：论文的核心思路是构建一个具有多语言推理能力的安全防线MrGuard，通过合成多语言数据增强模型的泛化能力，并利用课程学习和群体相对策略优化（GRPO）来提升模型的安全判断能力。这样设计的目的是使模型能够更好地理解和处理不同语言的风险和歧义，从而提高多语言环境下的安全性。

技术框架：MrGuard的技术框架主要包含三个阶段：（1）多语言数据合成：生成包含文化和语言细微差别的多语言数据，用于增强模型的训练。（2）监督微调：使用合成数据对模型进行监督微调，使其初步具备多语言安全判断能力。（3）课程学习和GRPO：采用课程学习策略，逐步增加训练难度，并利用GRPO框架进一步优化模型的性能。GRPO通过比较不同策略的表现，选择更安全的策略。

关键创新：MrGuard的关键创新在于其多语言推理能力和GRPO框架的应用。多语言推理能力使模型能够理解不同语言的风险和歧义，而GRPO框架则能够有效地优化模型的安全策略。此外，合成多语言数据的方法也能够缓解多语言安全数据不足的问题。与现有方法相比，MrGuard更注重多语言环境下的安全性和鲁棒性。

关键设计：在数据合成方面，论文采用了多种方法生成包含文化和语言细微差别的变体。在GRPO框架中，论文设计了一种基于课程学习的训练策略，逐步增加训练难度。具体的损失函数和网络结构细节在论文中未详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MrGuard在领域内和领域外语言上的表现始终优于最新的基线，提升超过15%。此外，MrGuard对多语言变体（如代码切换和低资源语言干扰）具有良好的鲁棒性，能够在这些具有挑战性的条件下保持安全判断。这些实验结果表明MrGuard是一种有效的多语言安全防线。

🎯 应用场景

MrGuard可应用于各种需要多语言内容审核的场景，例如社交媒体平台、在线论坛、聊天机器人等。它可以有效地检测和过滤不安全的多语言内容，保护用户免受有害信息的侵害，并提高LLM在多语言环境下的安全性和可靠性。该研究对于推动LLM在多语言环境下的广泛应用具有重要意义。

📄 摘要（原文）

Large Language Models (LLMs) are susceptible to adversarial attacks such as jailbreaking, which can elicit harmful or unsafe behaviors. This vulnerability is exacerbated in multilingual settings, where multilingual safety-aligned data is often limited. Thus, developing a guardrail capable of detecting and filtering unsafe content across diverse languages is critical for deploying LLMs in real-world applications. In this work, we introduce a multilingual guardrail with reasoning for prompt classification. Our method consists of: (1) synthetic multilingual data generation incorporating culturally and linguistically nuanced variants, (2) supervised fine-tuning, and (3) a curriculum-based Group Relative Policy Optimization (GRPO) framework that further improves performance. Experimental results demonstrate that our multilingual guardrail, MrGuard, consistently outperforms recent baselines across both in-domain and out-of-domain languages by more than 15%. We also evaluate MrGuard's robustness to multilingual variations, such as code-switching and low-resource language distractors in the prompt, and demonstrate that it preserves safety judgments under these challenging conditions. The multilingual reasoning capability of our guardrail enables it to generate explanations, which are particularly useful for understanding language-specific risks and ambiguities in multilingual content moderation.