ASSERT: Automated Safety Scenario Red Teaming for Evaluating the Robustness of Large Language Models

📄 arXiv: 2310.09624v2 📥 PDF

作者: Alex Mei, Sharon Levy, William Yang Wang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2023-10-14 (更新: 2023-11-11)

备注: In Findings of the 2023 Conference on Empirical Methods in Natural Language Processing

💡 一句话要点

提出ASSERT以解决大型语言模型的安全性评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 鲁棒性评估 安全性测试 对抗性学习 自动化测试生成

📋 核心要点

  1. 现有大型语言模型在多样化提示下的鲁棒性评估不足，无法全面反映用户可能遇到的各种场景。
  2. 论文提出ASSERT，通过三种方法生成测试提示集，旨在全面评估模型在不同安全领域的表现。
  3. 实验结果显示，模型在语义相关场景中的分类准确率存在显著差异，最高可达11%，对抗设置下的错误率也高达19%。

📝 摘要（中文）

随着大型语言模型逐渐融入社会，针对多样化提示的鲁棒性评估变得愈发重要，以确保在高变环境中的可靠性。本文提出了ASSERT（自动化安全场景红队评估），包括语义对齐增强、目标引导和对抗知识注入三种方法。通过这些方法，我们在AI安全的关键领域中算法生成了涵盖多样鲁棒性设置的测试提示集，分析了不同安全领域对模型性能的影响。尽管现有的先进模型有专门的安全防护措施，但我们发现语义相关场景中的分类准确率存在高达11%的显著性能差异，以及在零-shot对抗设置中高达19%的绝对错误率，这对用户的物理安全提出了警示。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在多样化提示下的鲁棒性评估问题。现有方法未能全面覆盖用户可能遇到的各种场景，导致评估结果不够可靠。

核心思路：论文提出的ASSERT方法通过算法生成多样化的测试提示，涵盖语义等价、相关场景和对抗性设置，以实现全面的安全评估。

技术框架：ASSERT由三个主要模块组成：语义对齐增强、目标引导和对抗知识注入。每个模块针对不同的鲁棒性设置生成相应的测试提示。

关键创新：ASSERT的创新之处在于其系统化的方法，通过算法生成多样化的测试提示，填补了现有评估方法的空白，尤其是在对抗性场景下的评估。

关键设计：在设计过程中，论文关注了提示的语义对齐和多样性，采用了特定的损失函数以优化模型在不同场景下的表现，确保评估的全面性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，尽管现有模型具备一定的安全防护，ASSERT方法仍然揭示了在语义相关场景中高达11%的分类准确率差异，以及在零-shot对抗设置中高达19%的绝对错误率，这些结果强调了鲁棒性评估的重要性。

🎯 应用场景

该研究的潜在应用领域包括AI安全性评估、自动化测试生成和智能系统的鲁棒性提升。通过提供全面的评估工具，ASSERT可以帮助开发者识别和修复模型中的安全隐患，提升用户的信任度和安全性。

📄 摘要（原文）

As large language models are integrated into society, robustness toward a suite of prompts is increasingly important to maintain reliability in a high-variance environment.Robustness evaluations must comprehensively encapsulate the various settings in which a user may invoke an intelligent system. This paper proposes ASSERT, Automated Safety Scenario Red Teaming, consisting of three methods -- semantically aligned augmentation, target bootstrapping, and adversarial knowledge injection. For robust safety evaluation, we apply these methods in the critical domain of AI safety to algorithmically generate a test suite of prompts covering diverse robustness settings -- semantic equivalence, related scenarios, and adversarial. We partition our prompts into four safety domains for a fine-grained analysis of how the domain affects model performance. Despite dedicated safeguards in existing state-of-the-art models, we find statistically significant performance differences of up to 11% in absolute classification accuracy among semantically related scenarios and error rates of up to 19% absolute error in zero-shot adversarial settings, raising concerns for users' physical safety.