WalledEval: A Comprehensive Safety Evaluation Toolkit for Large Language Models

📄 arXiv: 2408.03837v3 📥 PDF

作者: Prannaya Gupta, Le Qi Yau, Hao Han Low, I-Shiang Lee, Hugo Maximus Lim, Yu Xin Teoh, Jia Hng Koh, Dar Win Liew, Rishabh Bhardwaj, Rajat Bhardwaj, Soujanya Poria

分类: cs.CL, cs.AI

发布日期: 2024-08-07 (更新: 2024-08-19)

备注: Under review

🔗 代码/项目: GITHUB

💡 一句话要点

WalledEval：为大型语言模型提供全面的安全评估工具包

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 安全评估 提示注入 内容审核 多语言安全 文化背景 文本突变 基准测试

📋 核心要点

  1. 现有LLM安全评估方法缺乏对多语言、文化背景和文本风格突变的全面覆盖。
  2. WalledEval通过提供多样化的安全基准、自定义突变器和内容审核工具来解决上述问题。
  3. WalledEval引入了SGXSTest和HIXSTest数据集，用于评估LLM在文化背景下的夸大安全性。

📝 摘要（中文）

WalledEval是一个全面的AI安全测试工具包，旨在评估大型语言模型（LLM）的安全性。它支持各种模型，包括开源和基于API的模型，并包含超过35个安全基准，涵盖多语言安全、夸大安全和提示注入等领域。该框架支持LLM和判别器基准测试，并结合自定义突变器来测试针对各种文本风格突变（如将来时和释义）的安全性。此外，WalledEval还引入了WalledGuard，这是一个新的、小型的、高性能的内容审核工具，以及两个数据集：SGXSTest和HIXSTest，它们作为评估LLM和判别器在文化背景下夸大安全性的基准。WalledEval已在https://github.com/walledai/walledeval上公开。

🔬 方法详解

问题定义：当前大型语言模型（LLM）的安全评估面临诸多挑战。一方面，现有的评估方法往往侧重于通用安全问题，缺乏对多语言环境和特定文化背景的考虑。另一方面，LLM容易受到提示注入等攻击，并且在面对文本风格突变（如释义、时态变化）时，其安全性可能会受到影响。因此，需要一个全面、灵活且高效的工具包来评估LLM的安全性，并识别潜在的安全漏洞。

核心思路：WalledEval的核心思路是构建一个综合性的安全评估框架，该框架能够覆盖多种安全风险，并支持各种类型的LLM。为了实现这一目标，WalledEval采用了模块化的设计，包括多样化的安全基准、自定义突变器和内容审核工具。通过这些组件的协同工作，WalledEval能够全面评估LLM在不同场景下的安全性。

技术框架：WalledEval的整体架构包含以下几个主要模块：1) 安全基准库：包含超过35个安全基准，涵盖多语言安全、夸大安全和提示注入等领域。2) 模型适配层：支持各种类型的LLM，包括开源模型和基于API的模型。3) 自定义突变器：用于生成各种文本风格的突变，例如将来时、释义等。4) 评估模块：用于评估LLM在不同安全基准上的表现。5) 内容审核工具WalledGuard：用于检测LLM生成的内容是否安全。6) 数据集SGXSTest和HIXSTest：用于评估LLM在文化背景下的夸大安全性。

关键创新：WalledEval的关键创新点在于其综合性和灵活性。它不仅提供了多样化的安全基准，还支持自定义突变器和内容审核工具，从而能够全面评估LLM的安全性。此外，WalledEval还引入了SGXSTest和HIXSTest数据集，用于评估LLM在文化背景下的夸大安全性，这在以往的研究中较少被关注。WalledGuard作为一个轻量级的内容审核工具，也具有一定的实用价值。

关键设计：WalledEval的突变器允许用户自定义突变规则，例如改变文本的时态、进行释义或插入特定关键词。WalledGuard的设计目标是高性能和小尺寸，具体实现细节未知。SGXSTest和HIXSTest数据集的构建方法和评估指标未知。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

WalledEval包含超过35个安全基准，覆盖多语言安全、夸大安全和提示注入等领域。它还引入了WalledGuard，一个轻量级的内容审核工具，以及SGXSTest和HIXSTest数据集，用于评估LLM在文化背景下的夸大安全性。具体的性能数据和对比基线在摘要中未提及，因此无法量化提升幅度。

🎯 应用场景

WalledEval可用于评估和改进各种LLM的安全性，包括聊天机器人、文本生成模型和代码生成模型。它可以帮助开发者识别潜在的安全漏洞，并采取相应的措施来提高模型的安全性。此外，WalledEval还可以用于评估LLM在特定文化背景下的表现，从而确保模型在不同文化环境中都能安全可靠地使用。该工具包的开源性质也促进了LLM安全研究的进一步发展。

📄 摘要（原文）

WalledEval is a comprehensive AI safety testing toolkit designed to evaluate large language models (LLMs). It accommodates a diverse range of models, including both open-weight and API-based ones, and features over 35 safety benchmarks covering areas such as multilingual safety, exaggerated safety, and prompt injections. The framework supports both LLM and judge benchmarking and incorporates custom mutators to test safety against various text-style mutations, such as future tense and paraphrasing. Additionally, WalledEval introduces WalledGuard, a new, small, and performant content moderation tool, and two datasets: SGXSTest and HIXSTest, which serve as benchmarks for assessing the exaggerated safety of LLMs and judges in cultural contexts. We make WalledEval publicly available at https://github.com/walledai/walledeval.