Suan: Rectifying Direct Preference Safety Alignment in Large Language Models

📄 arXiv: 2609.08634v1 📥 PDF

作者: Oleksandr Cherednichenko, Roman Klypa

分类: cs.LG, cs.AI

发布日期: 2026-09-08

💡 一句话要点

提出Suan算法以解决大语言模型的安全对齐问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 安全对齐 偏好优化 梯度优化 人工智能

📋 核心要点

  1. 现有方法在开放权重模型中难以实现可靠的安全性，常出现过度拒绝和质量下降的问题。
  2. Suan算法通过在梯度层面直接制定优化目标，提供了一种新的偏好优化思路，避免了传统变分推导的限制。
  3. 实验结果显示，Suan在安全对齐方面表现优越，同时保持了响应的实用性，超越了多个竞争基线。

📝 摘要（中文）

在大型语言模型（LLMs）中集成强大的安全防护机制对于提供有用且无害的响应至关重要。尽管专有系统展现出可靠的安全控制，但其底层方法和权衡仍然大多未公开。实现开放权重模型的相应安全性仍然是一个持续的挑战，因为后训练变体往往面临过度拒绝和整体质量下降的问题。为了解决这些缺陷，我们提出了Suan，这是一种新颖的偏好优化算法。与现有方法不同，我们直接在梯度层面上制定优化目标，绕过了标准的变分推导，从而获得了更具可解释性和鲁棒性的训练动态。广泛的评估表明，Suan在完全保留响应效用的同时，实现了更优的安全对齐。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型中的安全对齐问题，现有方法在开放权重模型中常常导致过度拒绝和质量下降，难以实现有效的安全控制。

核心思路：Suan算法的核心思路是直接在梯度层面制定优化目标，避免了传统方法中的变分推导过程，从而提高了训练的可解释性和鲁棒性。

技术框架：Suan的整体架构包括偏好优化模块和安全评估模块，通过梯度优化直接调整模型的响应策略，确保安全性与实用性的平衡。

关键创新：Suan的主要创新在于其优化目标的直接梯度制定方式，这与现有方法的变分推导本质上有所区别，使得训练过程更加透明和高效。

关键设计：在Suan中，关键参数设置包括优化步长和损失函数的设计，损失函数结合了安全性和响应效用的权衡，确保模型在训练过程中能够有效学习到安全对齐的策略。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，Suan在安全对齐方面显著优于多个基线模型，具体表现为安全性提升达20%，同时保持响应的实用性，确保了模型在多种任务中的有效性和可靠性。

🎯 应用场景

Suan算法的潜在应用场景包括智能客服、内容生成和人机交互等领域。通过提高大型语言模型的安全性，该研究能够有效减少有害内容的生成，提升用户体验，并在实际应用中增强信任度。未来，Suan可能在更广泛的AI系统中推广应用，推动安全AI的发展。

📄 摘要（原文）

Integrating robust safety guardrails into Large Language Models (LLMs) is essential for delivering helpful yet harmless responses. While proprietary systems exhibit reliable safety controls, their underlying methodologies and trade-offs remain largely undisclosed. Achieving comparable security in open-weight models remains a persistent challenge, as post-trained variants frequently suffer from over-refusal and degraded general quality. To overcome these drawbacks, we introduce Suan, a novel preference optimization algorithm. Unlike existing methods, we formulate the optimization objective directly at the gradient level, bypassing the standard variational derivation. As a result, we obtain more interpretable and robust training dynamics. Extensive evaluations across a diverse suite of competitive baselines and benchmarks demonstrate that Suan achieves superior safety alignment while fully preserving response utility.