Selective Safety Steering via Value-Filtered Decoding

📄 arXiv: 2605.14746v1 📥 PDF

作者: Bat-Sheva Einbinder, Hen Davidov, Yee Whye Teh, Yarin Gal, Yaniv Romano

分类: cs.LG

发布日期: 2026-05-14

💡 一句话要点

提出基于价值过滤解码的选择性安全引导方法，提升LLM安全性并减少不必要干预。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 安全性 解码策略 价值过滤 选择性引导

📋 核心要点

  1. 现有解码时引导方法存在不必要的干预，会扭曲LLM的有用性、流畅性等关键属性。
  2. 提出基于价值过滤的选择性安全引导方法，减少不必要的干预，同时提升安全性。
  3. 实验表明，该方法在安全性、有用性和与基础模型的相似性之间取得了更好的平衡。

📝 摘要（中文）

大型语言模型（LLM）在训练时旨在与人类价值观对齐，但其生成结果仍可能违反安全约束。现有研究通过在解码时使用安全奖励修改模型的采样策略来解决此问题。然而，现有的解码时引导方法常常进行不必要的干预，修改了在基础模型下原本安全的生成结果。这种不必要的干预是不受欢迎的，因为它会扭曲基础模型的关键属性，如有用性、流畅性、风格和连贯性。我们提出了一种新的测试时引导方法，旨在减少这种不必要的干预，同时提高不安全响应的安全性。我们的方法使用基于价值的安全标准来过滤token，并提供了对错误干预概率的显式界限。单个阈值超参数控制此界限，允许从业者在更高的不必要干预率和更好的输出安全性之间进行权衡。在多个数据集和实验中，我们表明我们的价值过滤解码方法优于现有的基线，在安全性、有用性和与基础模型的相似性之间实现了更好的权衡。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）解码时安全引导方法，为了确保输出的安全性，常常会过度干预模型的生成过程，即使在模型本身能够生成安全内容的情况下，也会进行不必要的修改。这种过度干预会损害LLM的原始能力，例如降低其生成内容的流畅性、有用性以及与原始模型风格的相似性。因此，如何减少不必要的干预，同时保证输出的安全性，是一个重要的挑战。

核心思路：本文的核心思路是基于价值过滤的解码方法，即在解码过程中，利用一个基于价值的安全标准来过滤掉可能导致不安全输出的token。这种方法的核心在于“选择性”干预，只在必要时才进行干预，从而减少对模型原始能力的损害。同时，通过设置一个阈值超参数，可以显式地控制错误干预的概率，从而允许用户根据实际需求在安全性和模型能力之间进行权衡。

技术框架：该方法主要包含以下几个阶段：1) 使用LLM生成token序列；2) 使用价值函数评估每个token的安全性；3) 根据设定的阈值，过滤掉不安全的token；4) 从剩余的token中进行采样，生成下一个token。整个过程在解码时进行，不需要重新训练模型。

关键创新：该方法最重要的创新点在于其“选择性”干预的策略，与以往的强制性干预方法不同，该方法只在必要时才进行干预，从而更好地保留了LLM的原始能力。此外，通过显式地控制错误干预的概率，该方法为用户提供了一种灵活的权衡安全性和模型能力的方式。

关键设计：关键设计包括：1) 价值函数的选择，需要选择一个能够准确评估token安全性的价值函数；2) 阈值的设置，需要根据实际需求，设置一个合适的阈值，以控制错误干预的概率；3) 采样策略，在过滤掉不安全的token后，需要选择一个合适的采样策略，以生成下一个token。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在多个数据集上优于现有的基线方法，在安全性、有用性和与基础模型的相似性之间取得了更好的平衡。具体而言，该方法在保证安全性的前提下，显著减少了不必要的干预，从而更好地保留了LLM的原始能力。量化指标显示，该方法在安全性指标上与现有方法持平或略有提升，同时在有用性和相似性指标上取得了显著的提升。

🎯 应用场景

该研究成果可应用于各种需要安全保障的LLM应用场景，例如智能客服、内容生成、教育辅导等。通过减少不必要的干预，可以提升LLM的实用性和用户体验。未来，该方法可以进一步扩展到其他类型的约束条件，例如公平性、隐私保护等，从而构建更加安全可靠的LLM系统。

📄 摘要（原文）

While large language models (LLMs) are trained to align with human values, their generations may still violate safety constraints. A growing line of work addresses this problem by modifying the model's sampling policy at decoding time using a safety reward. However, existing decoding-time steering methods often intervene unnecessarily, modifying generations that would have been safe under the base model. Such unnecessary interventions are undesirable, as they can distort key properties of the base model such as helpfulness, fluency, style, and coherence. We propose a new test-time steering method designed to reduce such unnecessary interventions while improving the safety of unsafe responses. Our approach filters tokens using a value-based safety criterion and provides an explicit bound on the probability of false interventions. A single threshold hyperparameter controls this bound, allowing practitioners to trade off higher rates of unnecessary intervention for better output safety. Across multiple datasets and experiments, we show that our value-filtered decoding method outperforms existing baselines, achieving better trade-offs between safety, helpfulness, and similarity to the base model.