Mitigating Exaggerated Safety in Large Language Models

📄 arXiv: 2405.05418v2 📥 PDF

作者: Ruchira Ray, Ruchi Bhalani

分类: cs.CL

发布日期: 2024-05-08 (更新: 2024-08-29)

备注: 17 pages, 8 figures, 2 tables

💡 一句话要点

提出多策略Prompting方法，有效缓解大语言模型过度安全问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 安全性 过度安全 Prompting策略 决策边界

📋 核心要点

  1. 大型语言模型在安全性和实用性之间存在权衡，过度安全会导致模型拒绝安全请求，降低用户体验。
  2. 论文提出结合XSTest数据集，采用交互式、上下文式和少样本提示等多种Prompting策略，调整LLM决策边界。
  3. 实验结果表明，该方法能够显著缓解过度安全问题，在多个LLM上实现了高达92.9%的改进。

📝 摘要（中文）

随着大型语言模型（LLMs）的日益普及，模型安全性和实用性的结合变得越来越重要。关键在于确保LLMs能够识别并拒绝危险提示，同时不牺牲其提供帮助的能力。“过度安全”问题凸显了这一点的难度。为了减少过度安全行为——发现有26.1%的安全提示被错误分类为危险并被拒绝——我们结合了XSTest数据集提示以及交互式、上下文式和少样本提示，来检查Llama2、Gemma、Command R+和Phi-3等LLMs的决策边界。我们发现少样本提示最适合Llama2，交互式提示最适合Gemma，上下文提示最适合Command R+和Phi-3。通过结合这些提示策略，我们能够将所有LLMs的过度安全行为总体降低92.9%。我们的工作提出了一种多重提示策略，以突破LLMs的决策过程，使其能够在拒绝不安全提示和保持有用性之间找到平衡。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）中存在的“过度安全”问题。现有LLMs在追求安全性的过程中，常常会将一些原本安全的提示误判为危险提示并拒绝响应，从而降低了模型的实用性和用户体验。这种过度安全行为会限制LLMs的应用范围，并可能导致用户对模型的信任度下降。

核心思路：论文的核心思路是通过多种Prompting策略来调整LLMs的决策边界，使其能够更准确地区分安全提示和危险提示。具体而言，论文探索了少样本提示、交互式提示和上下文提示等方法，旨在引导LLMs更好地理解用户意图，从而减少误判的发生。

技术框架：论文的技术框架主要包括以下几个步骤：1) 使用XSTest数据集构建包含安全提示和危险提示的测试集；2) 针对不同的LLMs（如Llama2、Gemma、Command R+和Phi-3），分别采用少样本提示、交互式提示和上下文提示等Prompting策略；3) 通过实验评估不同Prompting策略对缓解过度安全问题的效果；4) 结合多种Prompting策略，进一步提升模型的性能。

关键创新：论文的关键创新在于提出了结合多种Prompting策略来缓解LLMs过度安全问题的方法。与传统的单一Prompting方法相比，该方法能够更全面地调整模型的决策边界，从而更有效地减少误判的发生。此外，论文还针对不同的LLMs，探索了最适合的Prompting策略组合，进一步提升了模型的性能。

关键设计：论文的关键设计包括：1) 针对不同的LLMs，选择合适的Prompting策略（例如，少样本提示更适合Llama2，交互式提示更适合Gemma）；2) 在Prompting过程中，充分利用上下文信息，引导模型更好地理解用户意图；3) 通过实验评估不同Prompting策略的效果，并选择最优的策略组合。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，通过结合多种Prompting策略，该方法能够显著缓解LLMs的过度安全问题。具体而言，该方法能够将所有LLMs的过度安全行为总体降低92.9%。此外，论文还发现，不同的LLMs对不同的Prompting策略具有不同的敏感性，例如少样本提示最适合Llama2，交互式提示最适合Gemma。

🎯 应用场景

该研究成果可应用于各种需要安全可靠的大型语言模型应用场景，例如智能客服、内容生成、教育辅导等。通过降低LLM的过度安全行为，可以提升用户体验，扩展LLM的应用范围，并增强用户对LLM的信任度。未来，该研究可以进一步扩展到其他类型的LLM，并探索更有效的Prompting策略。

📄 摘要（原文）

As the popularity of Large Language Models (LLMs) grow, combining model safety with utility becomes increasingly important. The challenge is making sure that LLMs can recognize and decline dangerous prompts without sacrificing their ability to be helpful. The problem of "exaggerated safety" demonstrates how difficult this can be. To reduce excessive safety behaviours -- which was discovered to be 26.1% of safe prompts being misclassified as dangerous and refused -- we use a combination of XSTest dataset prompts as well as interactive, contextual, and few-shot prompting to examine the decision bounds of LLMs such as Llama2, Gemma Command R+, and Phi-3. We find that few-shot prompting works best for Llama2, interactive prompting works best Gemma, and contextual prompting works best for Command R+ and Phi-3. Using a combination of these prompting strategies, we are able to mitigate exaggerated safety behaviors by an overall 92.9% across all LLMs. Our work presents a multiple prompting strategies to jailbreak LLMs' decision-making processes, allowing them to navigate the tight line between refusing unsafe prompts and remaining helpful.