Configurable Reward Model for Balanced Safety Alignment

📄 arXiv: 2605.30487v1 📥 PDF

作者: Zhengping Jiang, Mehran Khodabandeh, Akash Bharadwaj, Manik Bhandari, Mayur Srungarapu, Anqi Liu, Benjamin Van Durme, Li Chen

分类: cs.CL

发布日期: 2026-05-28

💡 一句话要点

提出可配置奖励模型(CSRM)以平衡大语言模型的安全性对齐问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可配置奖励模型 安全对齐 大语言模型 数据增强 安全合规

📋 核心要点

  1. 现有指令调优的LLM和独立安全分类器难以泛化到新的安全配置，这是当前面临的核心问题。
  2. CSRM通过配置目标数据增强，在保留相对严重程度结构的同时，增强指令遵循，从而实现对细粒度安全配置的敏感性。
  3. 实验表明，CSRM在CoSApien和DynaBench等基准测试中取得了SOTA性能，且下游安全对齐时，LLM的helpfulness-safety权衡得到显著改善。

📝 摘要（中文）

针对大语言模型(LLM)在异构且快速演变的安全需求对齐方面面临的挑战，本文提出了一种可配置安全奖励模型(CSRM)。该模型联合优化了校准后的安全合规性和奖励建模。该方法通过配置目标数据增强来增强指令遵循，同时保留相对严重程度结构。由此产生的奖励模型对细粒度的安全配置和对话细微差别敏感，从而显著提高了对先前未见过的安全配置的泛化能力。CSRM在最新的可配置安全基准测试中实现了最先进的性能，包括CoSApien（94.6% F1）和DynaBench（75.8% F1），而无需额外的人工标注。当用于下游安全对齐时，与现有基线相比，CSRM产生了具有显著改善的helpfulness-safety权衡的LLM。

🔬 方法详解

问题定义：现有的大语言模型安全对齐方法，如指令微调和独立安全分类器，难以泛化到新的、不断变化的安全配置。这些方法缺乏对安全规范的细粒度控制，无法根据不同的安全需求进行调整，导致在实际应用中表现不佳。

核心思路：本文的核心思路是构建一个可配置的奖励模型（CSRM），该模型能够根据不同的安全配置进行调整，从而提高模型在各种安全场景下的泛化能力。通过联合优化安全合规性和奖励建模，CSRM能够更好地理解和响应不同的安全指令。

技术框架：CSRM的整体框架包括以下几个主要步骤：1) 数据增强：通过配置目标数据增强，生成包含不同安全配置的训练数据。2) 模型训练：联合优化安全合规性和奖励建模，训练CSRM模型。3) 模型评估：在CoSApien和DynaBench等基准测试中评估CSRM的性能。4) 下游应用：将CSRM用于下游安全对齐，提高LLM的helpfulness-safety权衡。

关键创新：CSRM的关键创新在于其可配置性，即能够根据不同的安全配置进行调整。这种可配置性是通过配置目标数据增强和联合优化安全合规性和奖励建模来实现的。与传统的安全对齐方法相比，CSRM能够更好地适应不断变化的安全需求。

关键设计：CSRM的关键设计包括：1) 配置目标数据增强：通过修改输入文本中的安全相关关键词，生成包含不同安全配置的训练数据。2) 联合优化损失函数：设计一个联合损失函数，同时优化安全合规性和奖励建模。具体来说，损失函数可能包含一个交叉熵损失项，用于衡量模型预测的安全标签的准确性，以及一个排序损失项，用于衡量模型对不同安全配置的偏好程度。3) 网络结构：CSRM可以使用Transformer等现有的神经网络结构，并根据具体任务进行调整。未知具体网络结构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CSRM在CoSApien上取得了94.6%的F1分数，在DynaBench上取得了75.8%的F1分数，均达到了SOTA水平，且无需额外的人工标注。此外，将CSRM用于下游安全对齐时，LLM的helpfulness-safety权衡得到了显著改善，表明CSRM能够有效地提高LLM的安全性。

🎯 应用场景

该研究成果可应用于各种需要安全保障的大语言模型应用场景，例如智能客服、内容生成、代码生成等。通过使用CSRM，可以提高LLM在这些场景下的安全性和可靠性，减少潜在的风险和危害。未来，该技术有望进一步推广到其他人工智能领域，例如机器人、自动驾驶等。

📄 摘要（原文）

Aligning large language models (LLMs) to heterogeneous and rapidly evolving safety requirements remains a critical challenge. Existing instruction-tuned LLMs and standalone safety classifiers often fail to generalize to new safety configurations, motivating the need for Reward Models (RMs) that are explicitly configurable to changing specifications. We introduce the Configurable Safety Reward Model (CSRM), which is jointly optimized for calibrated safety compliance and reward modeling. Our approach is supported by configuration-targeted data augmentation that enforces instruction adherence while preserving relative severity structure. The resulting RM is sensitive to fine-grained safety configurations and conversational nuances, substantially improving generalization to previously unseen safety configurations. CSRM achieves state-of-the-art performance on recent configurable safety benchmarks, including CoSApien (94.6% F1) and DynaBench (75.8% F1), without requiring additional human annotation. When used for downstream safety alignment, CSRM yields LLMs with a significantly improved helpfulness-safety tradeoff compared to existing baselines.