SAFER: Probing Safety in Reward Models with Sparse Autoencoder

📄 arXiv: 2507.00665v2 📥 PDF

作者: Sihang Li, Wei Shi, Ziyuan Xie, Tao Liang, Guojun Ma, Xiang Wang

分类: cs.CL, cs.AI

发布日期: 2025-07-01 (更新: 2025-10-14)

备注: One of the institutions requires additional approval before we can move forward with the publication. Thanks for your understanding, and we hope to resubmit once everything is finalized

🔗 代码/项目: GITHUB

💡 一句话要点

SAFER：利用稀疏自编码器探究奖励模型中的安全性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 奖励模型 安全性 稀疏自编码器 可解释性 数据投毒 数据去噪 强化学习 大型语言模型

📋 核心要点

  1. 现有奖励模型在安全性方面存在不透明性，难以理解其决策过程，从而限制了安全性的提升。
  2. SAFER框架利用稀疏自编码器揭示奖励模型中的可解释特征，从而理解模型如何进行安全相关的决策。
  3. 通过数据投毒和去噪实验，SAFER能够有效控制奖励模型的安全性，同时保持其通用聊天能力。

📝 摘要（中文）

强化学习从人类反馈（RLHF）是使大型语言模型（LLM）与人类价值观对齐的关键范例，但其核心的奖励模型在很大程度上仍然是不透明的。本文提出了稀疏自编码器增强奖励模型（SAFER），这是一个通过机制分析来解释和改进奖励模型的新框架。利用稀疏自编码器（SAE），我们揭示了奖励模型激活中人类可解释的特征，从而深入了解与安全相关的决策。我们将SAFER应用于面向安全的偏好数据集，并通过选择和拒绝响应之间的激活差异来量化各个特征的显著性。利用这些特征级别的信号，我们设计了有针对性的数据投毒和去噪策略。实验表明，SAFER可以用最少的数据修改来精确地降低或增强安全对齐，而不会牺牲一般的聊天性能。我们的方法有助于在高风险的LLM对齐任务中解释、审计和改进奖励模型。

🔬 方法详解

问题定义：目前，基于人类反馈的强化学习（RLHF）依赖的奖励模型，其内部决策机制如同黑盒，难以理解其如何判断安全性。这使得我们难以针对性地提升模型的安全性，并且难以评估模型潜在的安全风险。现有方法缺乏对奖励模型内部特征的有效分析和利用，无法实现对安全性的精准控制。

核心思路：SAFER的核心思路是利用稀疏自编码器（SAE）来提取奖励模型中的可解释特征。通过分析这些特征的激活情况，可以理解奖励模型在进行安全相关决策时的依据。然后，可以利用这些特征级别的信号，通过数据投毒和去噪等策略，来精确地控制奖励模型的安全性。这样设计的目的是为了打破奖励模型的黑盒状态，实现对安全性的可控干预。

技术框架：SAFER框架主要包含以下几个阶段：1) 奖励模型激活提取：收集奖励模型在处理安全相关数据时的激活值。2) 稀疏自编码器训练：使用收集到的激活值训练稀疏自编码器，以提取奖励模型中的可解释特征。3) 特征显著性分析：通过比较选择和拒绝响应之间的特征激活差异，量化各个特征的显著性。4) 数据投毒/去噪：根据特征显著性，设计有针对性的数据投毒和去噪策略，以控制奖励模型的安全性。

关键创新：SAFER最重要的技术创新点在于利用稀疏自编码器来揭示奖励模型中的可解释特征，从而实现对奖励模型内部决策机制的理解。与现有方法相比，SAFER能够提供更细粒度的安全分析和控制，而无需修改奖励模型的结构或训练过程。SAFER通过特征级别的操作，实现了对安全性的精准干预，避免了对通用聊天能力的过度影响。

关键设计：SAFER的关键设计包括：1) 稀疏自编码器的结构：选择合适的自编码器结构，以保证能够有效地提取奖励模型中的关键特征。2) 稀疏性惩罚：通过添加稀疏性惩罚项，鼓励自编码器学习到稀疏且可解释的特征表示。3) 数据投毒/去噪策略：设计有效的投毒和去噪样本，以最大程度地影响奖励模型的安全性，同时保持其通用聊天能力。具体的损失函数和网络结构等细节需要在实际应用中根据具体情况进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SAFER能够通过少量的数据修改，有效地降低或提升奖励模型的安全性，而不会显著影响其通用聊天能力。例如，通过数据投毒，SAFER可以将奖励模型的安全评分降低10%，同时保持其在通用聊天任务上的性能。此外，SAFER还能够通过数据去噪，提升奖励模型的安全性，使其更符合人类价值观。

🎯 应用场景

SAFER可应用于大型语言模型的安全对齐，帮助开发者更好地理解和控制模型的安全性。该方法可用于评估和改进奖励模型，降低模型生成有害内容的风险。此外，SAFER还可用于审计奖励模型，发现潜在的安全漏洞，并为模型的安全部署提供保障。未来，该技术有望推广到其他AI安全领域，例如自动驾驶和医疗诊断。

📄 摘要（原文）

Reinforcement learning from human feedback (RLHF) is a key paradigm for aligning large language models (LLMs) with human values, yet the reward models at its core remain largely opaque. In this work, we present sparse Autoencoder For Enhanced Reward model (\textbf{SAFER}), a novel framework for interpreting and improving reward models through mechanistic analysis. Leveraging Sparse Autoencoders (SAEs), we uncover human-interpretable features in reward model activations, enabling insight into safety-relevant decision-making. We apply SAFER to safety-oriented preference datasets and quantify the salience of individual features by activation differences between chosen and rejected responses. Using these feature-level signals, we design targeted data poisoning and denoising strategies. Experiments show that SAFER can precisely degrade or enhance safety alignment with minimal data modification, without sacrificing general chat performance. Our approach contributes to interpreting, auditing and refining reward models in high-stakes LLM alignment tasks. Our codes are available at https://github.com/xzy-101/SAFER-code. \textit{This paper discusses topics related to large language model safety and may include discussions or examples that highlight potential risks or unsafe outcomes.}