A Framework to Assess Multilingual Vulnerabilities of LLMs

📄 arXiv: 2503.13081v1 📥 PDF

作者: Likai Tang, Niruth Bogahawatta, Yasod Ginige, Jiarui Xu, Shixuan Sun, Surangika Ranathunga, Suranga Seneviratne

分类: cs.CL, cs.AI

发布日期: 2025-03-17

💡 一句话要点

提出多语言LLM脆弱性评估框架，揭示低资源语言中的安全风险。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多语言评估 安全脆弱性 低资源语言 自动化评估

📋 核心要点

  1. 现有LLM在低资源语言上的安全评估不足，存在数据和评估资源不平衡的问题。
  2. 提出自动评估框架，通过自动化测试识别LLM在多语言环境下的潜在风险。
  3. 实验结果表明，该框架能有效识别低资源语言中的脆弱性，并与人工评估结果基本一致。

📝 摘要（中文）

大型语言模型（LLM）正获得更广泛的能力，包括理解和用多种语言回应。虽然它们经过安全训练以防止回答非法问题，但训练数据和人工评估资源的不平衡可能使这些模型更容易受到低资源语言（LRL）的攻击。本文提出了一个自动评估常用LLM多语言脆弱性的框架。使用该框架，我们评估了六个LLM在八种代表不同资源可用性水平的语言上的表现。我们通过两种语言的人工评估验证了自动框架生成的评估结果，证明该框架的结果在大多数情况下与人类判断一致。我们的发现揭示了LRL中的脆弱性；然而，由于这些脆弱性通常源于模型较差的性能，导致不连贯的响应，因此可能带来的风险很小。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）在安全训练方面存在不平衡，尤其是在低资源语言（LRL）中，由于训练数据和人工评估资源的匮乏，使得这些模型更容易受到恶意攻击。现有的评估方法通常侧重于高资源语言，忽略了LRL的特殊脆弱性。因此，如何有效地评估LLM在多语言环境下的安全性，特别是识别LRL中的潜在风险，是一个亟待解决的问题。

核心思路：本文的核心思路是构建一个自动化的评估框架，该框架能够系统性地测试LLM在多种语言下的安全性，并识别其在LRL中存在的脆弱性。通过自动化测试，可以大规模地评估LLM在不同语言环境下的表现，从而发现潜在的安全风险。这种方法避免了人工评估的局限性，提高了评估效率和覆盖范围。

技术框架：该框架主要包含以下几个关键模块：1) 攻击问题生成模块：自动生成针对LLM的攻击性问题，涵盖多种攻击类型，如提示注入、越狱等。2) 多语言翻译模块：将攻击性问题翻译成多种目标语言，包括高资源语言和低资源语言。3) LLM推理模块：将翻译后的问题输入到待评估的LLM中，获取模型的响应。4) 响应评估模块：自动评估LLM的响应，判断其是否包含有害信息或违反安全策略。5) 结果汇总与分析模块：汇总所有测试结果，分析LLM在不同语言下的脆弱性，并生成评估报告。

关键创新：该论文的关键创新在于提出了一个自动化的多语言LLM脆弱性评估框架。该框架能够系统性地评估LLM在多种语言下的安全性，并识别其在LRL中存在的脆弱性。与现有方法相比，该框架具有更高的评估效率和覆盖范围，能够更全面地了解LLM在多语言环境下的安全风险。

关键设计：在攻击问题生成模块中，采用了基于模板和规则的方法，自动生成针对LLM的攻击性问题。在多语言翻译模块中，使用了高质量的机器翻译模型，确保翻译的准确性和流畅性。在响应评估模块中，结合了基于规则和基于模型的评估方法，提高了评估的准确性和可靠性。此外，该框架还支持自定义评估指标和规则，方便用户根据实际需求进行调整。

📊 实验亮点

实验结果表明，该框架能够有效识别LLM在低资源语言中的脆弱性。通过对六个LLM在八种语言上的评估，发现LRL中的脆弱性主要源于模型性能较差，导致响应不连贯。人工评估验证了该框架的评估结果，表明该框架的结果在大多数情况下与人类判断一致。该框架为LLM的多语言安全评估提供了一种有效的自动化解决方案。

🎯 应用场景

该研究成果可应用于LLM的安全风险评估、模型安全加固以及多语言环境下的内容审核。通过该框架，开发者可以更全面地了解LLM在不同语言环境下的安全风险，并采取相应的措施来提高模型的安全性。此外，该研究还可以为政府和监管机构提供参考，帮助他们制定更有效的LLM安全监管政策。

📄 摘要（原文）

Large Language Models (LLMs) are acquiring a wider range of capabilities, including understanding and responding in multiple languages. While they undergo safety training to prevent them from answering illegal questions, imbalances in training data and human evaluation resources can make these models more susceptible to attacks in low-resource languages (LRL). This paper proposes a framework to automatically assess the multilingual vulnerabilities of commonly used LLMs. Using our framework, we evaluated six LLMs across eight languages representing varying levels of resource availability. We validated the assessments generated by our automated framework through human evaluation in two languages, demonstrating that the framework's results align with human judgments in most cases. Our findings reveal vulnerabilities in LRL; however, these may pose minimal risk as they often stem from the model's poor performance, resulting in incoherent responses.