SaRO: Enhancing LLM Safety through Reasoning-based Alignment

📄 arXiv: 2504.09420v1 📥 PDF

作者: Yutao Mou, Yuxiao Luo, Shikun Zhang, Wei Ye

分类: cs.CL

发布日期: 2025-04-13

💡 一句话要点

提出SaRO框架，通过推理对齐增强LLM的安全性，解决越狱攻击和过度对齐问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 安全对齐 推理优化 直接偏好优化 越狱攻击

📋 核心要点

  1. 现有LLM安全对齐方法泛化性差，易受新型攻击，且存在过度对齐问题，导致模型拒绝正常指令。
  2. SaRO框架通过推理风格预热和安全导向的推理过程优化，使LLM具备安全策略驱动的推理能力。
  3. 实验结果表明，SaRO框架在提升LLM安全性的同时，有效缓解了过度对齐问题，性能优于传统方法。

📝 摘要（中文）

当前大型语言模型（LLM）的安全对齐技术面临两个主要挑战：(1) 泛化能力不足，导致模型容易受到新型越狱攻击；(2) 过度对齐，导致模型过度拒绝良性指令。初步研究表明，越狱/有害查询与正常提示在嵌入空间中存在语义重叠，这表明更有效的安全对齐需要更深层次的语义理解。因此，本文提出将安全策略驱动的推理融入到对齐过程中。为此，我们提出了面向安全的推理优化框架（SaRO），该框架包括两个阶段：(1) 推理风格预热（RW），通过监督微调使LLM能够内化长链推理；(2) 面向安全的推理过程优化（SRPO），通过直接偏好优化（DPO）促进安全反思。大量实验表明，SaRO优于传统的对齐方法。

🔬 方法详解

问题定义：现有LLM的安全对齐方法在面对新型越狱攻击时泛化能力不足，并且容易出现过度对齐的问题，即过度拒绝无害的指令。这主要是因为模型缺乏对指令深层次语义的理解，导致无法有效区分有害和无害的输入。

核心思路：SaRO的核心思路是将安全策略融入到LLM的推理过程中，使其能够像人类一样，基于安全规则对输入进行推理和判断，从而提高模型对有害输入的识别能力，并减少对无害输入的误判。通过推理，模型可以更好地理解输入的意图，从而做出更准确的响应。

技术框架：SaRO框架包含两个主要阶段：(1) 推理风格预热（RW）：使用监督微调的方式，让LLM学习进行长链推理，使其具备初步的推理能力。具体来说，就是使用包含推理过程的训练数据对模型进行微调，让模型学习如何一步一步地进行推理。(2) 面向安全的推理过程优化（SRPO）：使用直接偏好优化（DPO）算法，让模型学习在推理过程中考虑安全因素。DPO算法通过比较模型对不同响应的偏好，来优化模型的参数，使其更倾向于生成安全的响应。

关键创新：SaRO的关键创新在于将安全策略驱动的推理融入到LLM的对齐过程中。与传统的对齐方法不同，SaRO不仅仅关注输入和输出之间的映射关系，更关注模型在生成输出之前的推理过程。通过让模型学习进行安全推理，可以显著提高模型的安全性和鲁棒性。

关键设计：在推理风格预热阶段，使用了包含长链推理过程的监督数据进行微调。在面向安全的推理过程优化阶段，使用了DPO算法，并设计了合适的奖励函数来引导模型生成安全的响应。奖励函数的设计需要仔细考虑，以确保模型能够正确地理解安全策略，并避免出现过度对齐的问题。具体参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SaRO框架在多个安全评估基准上都取得了显著的提升，有效降低了LLM被越狱攻击的风险，并缓解了过度对齐问题。具体性能数据和对比基线未知，但总体而言，SaRO优于传统的对齐方法。

🎯 应用场景

SaRO框架可应用于各种需要高安全性的LLM应用场景，例如智能客服、内容生成、代码生成等。通过提高LLM的安全性，可以减少模型被恶意利用的风险，并提高用户对模型的信任度。该研究对于构建更安全、更可靠的LLM具有重要意义。

📄 摘要（原文）

Current safety alignment techniques for large language models (LLMs) face two key challenges: (1) under-generalization, which leaves models vulnerable to novel jailbreak attacks, and (2) over-alignment, which leads to the excessive refusal of benign instructions. Our preliminary investigation reveals semantic overlap between jailbreak/harmful queries and normal prompts in embedding space, suggesting that more effective safety alignment requires a deeper semantic understanding. This motivates us to incorporate safety-policy-driven reasoning into the alignment process. To this end, we propose the Safety-oriented Reasoning Optimization Framework (SaRO), which consists of two stages: (1) Reasoning-style Warmup (RW) that enables LLMs to internalize long-chain reasoning through supervised fine-tuning, and (2) Safety-oriented Reasoning Process Optimization (SRPO) that promotes safety reflection via direct preference optimization (DPO). Extensive experiments demonstrate the superiority of SaRO over traditional alignment methods.