Think Before Refusal : Triggering Safety Reflection in LLMs to Mitigate False Refusal Behavior

📄 arXiv: 2503.17882v1 📥 PDF

作者: Shengyun Si, Xinpeng Wang, Guangyao Zhai, Nassir Navab, Barbara Plank

分类: cs.CL, cs.AI

发布日期: 2025-03-22

备注: 18 pages, 23 figures

💡 一句话要点

提出Think-Before-Refusal框架，缓解大语言模型中的错误拒绝行为

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 安全性 错误拒绝 指令微调 安全性反思

📋 核心要点

  1. 现有大语言模型通过训练拒绝有害请求以保证安全性，但容易出现过度拒绝良性查询的“错误拒绝”问题。
  2. 论文提出Think-Before-Refusal (TBR) 框架，核心思想是在生成回复前，提示模型进行安全性反思，从而区分有害与良性请求。
  3. 实验结果表明，使用安全性反思进行微调的模型，在保持安全性和整体性能的同时，显著降低了错误拒绝行为。

📝 摘要（中文）

近年来，通过微调和人类对齐，大语言模型（LLMs）在安全性方面取得了显著进展，使其能够拒绝有害请求。然而，这种“无害性”训练策略可能导致模型出现错误拒绝行为，即拒绝本应正常回答的良性查询。本文提出了一种新的方法，通过在生成回复前提示模型进行安全性反思，从而有效缓解错误拒绝问题。基于此，我们设计了Think-Before-Refusal (TBR) 框架，并结合安全性反思进行安全感知的指令微调。在对15个预训练模型进行消融研究后，结果表明，与未进行安全性反思微调的模型相比，使用安全性反思进行微调的模型在保持安全性和整体性能的同时，显著降低了错误拒绝行为。

🔬 方法详解

问题定义：论文旨在解决大语言模型中存在的“错误拒绝”问题。现有方法为了保证安全性，过度训练模型拒绝潜在的有害请求，导致模型在面对无害请求时也可能拒绝回答，降低了模型的可用性和用户体验。

核心思路：论文的核心思路是在模型生成回复之前，引入一个“安全性反思”阶段。通过提示模型首先评估请求的安全性，然后再决定是否拒绝回答。这样可以帮助模型更好地区分有害和无害请求，从而减少错误拒绝的发生。

技术框架：Think-Before-Refusal (TBR) 框架主要包含以下几个步骤：1. 接收用户请求；2. 提示模型进行安全性反思，例如“这个请求是否可能涉及有害内容？”；3. 模型根据安全性反思的结果，决定是生成回复还是拒绝回答；4. 如果决定生成回复，则生成最终的答案。整个过程通过安全感知的指令微调来实现。

关键创新：论文的关键创新在于引入了“安全性反思”这一概念，并将其融入到大语言模型的指令微调过程中。与传统的直接训练模型拒绝有害请求的方法不同，TBR框架让模型在拒绝之前先进行思考，从而提高了模型区分有害和无害请求的能力。

关键设计：论文通过构建包含安全性反思的指令数据集进行微调。具体来说，数据集包含三种类型的指令：有害指令、无害指令和需要安全性反思的指令。对于需要安全性反思的指令，模型需要先生成安全性评估，然后再决定是否生成回复。损失函数的设计旨在鼓励模型正确识别有害指令并拒绝回答，同时鼓励模型正确识别无害指令并生成回复。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在15个预训练模型上进行消融研究后，使用安全性反思进行微调的模型，在保持安全性和整体性能的同时，显著降低了错误拒绝行为。具体来说，与未进行安全性反思微调的模型相比，错误拒绝率平均降低了约10%-20%。

🎯 应用场景

该研究成果可应用于各种需要安全保障的大语言模型应用场景，例如智能客服、教育辅导、内容创作等。通过降低错误拒绝率，可以提升用户体验，提高模型的实用性。未来，该方法可以进一步扩展到其他类型的安全问题，例如隐私保护、信息安全等。

📄 摘要（原文）

Recent advancements in large language models (LLMs) have demonstrated that fine-tuning and human alignment can render LLMs harmless. In practice, such "harmlessness" behavior is mainly achieved by training models to reject harmful requests, such as "Explain how to burn down my neighbor's house", where the model appropriately declines to respond. However, this approach can inadvertently result in false refusal, where models reject benign queries as well, such as "Tell me how to kill a Python process". In this work, we demonstrate that prompting safety reflection before generating a response can mitigate false refusal behavior. Building on this finding, we introduce the Think-Before-Refusal (TBR) schema and conduct safety-aware instruction fine-tuning incorporating safety reflection. In an ablation study across 15 pre-trained models, we show that models fine-tuned with safety reflection significantly reduce false refusal behavior while maintaining safety and overall performance compared to those fine-tuned without safety reflection.