Learning Safety Constraints for Large Language Models

📄 arXiv: 2505.24445v1 📥 PDF

作者: Xin Chen, Yarden As, Andreas Krause

分类: cs.LG, cs.AI

发布日期: 2025-05-30

备注: ICML 2025 (Spotlight)

💡 一句话要点

提出Safety Polytope (SaP)方法，在表征空间中学习并执行LLM安全约束。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型安全 安全约束学习 几何方法 对抗攻击防御 表征空间 安全多面体 LLM安全 后处理

📋 核心要点

  1. 现有方法难以在不影响LLM性能的前提下，有效应对有害输出和对抗攻击等安全风险。
  2. SaP方法在LLM的表征空间中构建安全多面体，通过几何约束实现安全检测和校正，无需修改模型权重。
  3. 实验证明SaP能有效检测不道德输入，降低对抗攻击成功率，同时保持LLM在标准任务上的性能。

📝 摘要（中文）

大型语言模型（LLMs）功能强大，但也存在有害输出和易受对抗攻击等安全风险。本文提出Safety Polytope（SaP），一种LLM安全几何方法，直接在模型的表征空间中学习并执行多个安全约束。我们开发了一个框架，通过多面体的面来识别安全和不安全的区域，从而能够通过几何引导检测和纠正不安全的输出。与修改模型权重的现有方法不同，SaP在表征空间中进行后处理，在保持模型能力的同时执行安全约束。在多个LLM上的实验表明，我们的方法可以有效地检测不道德的输入，降低对抗攻击的成功率，同时保持标准任务的性能，从而突出了拥有显式安全几何模型的重要性。对学习到的多面体面的分析揭示了在检测不同语义安全概念方面的专业化，为理解LLM的表征空间中如何捕获安全性提供了可解释的见解。

🔬 方法详解

问题定义：大型语言模型容易产生有害输出，并且容易受到对抗攻击。现有的安全方法通常需要修改模型权重，这可能会损害模型的性能。因此，需要一种能够在不影响模型性能的前提下，有效提高LLM安全性的方法。

核心思路：本文的核心思路是在LLM的表征空间中学习一个安全多面体（Safety Polytope），该多面体定义了安全区域和不安全区域。通过几何方法，可以检测输入是否安全，并对不安全的输入进行校正，使其落入安全区域。这种方法无需修改模型权重，因此可以保持模型的性能。

技术框架：SaP框架包含以下几个主要步骤：1) 使用安全和不安全的数据训练LLM；2) 从LLM的表征空间中提取特征；3) 使用这些特征学习一个安全多面体；4) 使用该多面体检测输入是否安全；5) 如果输入不安全，则通过几何引导将其校正到安全区域。

关键创新：SaP的关键创新在于它使用几何方法来解决LLM的安全问题。与传统的基于规则或基于分类的安全方法不同，SaP能够学习复杂的安全边界，并且能够对不安全的输入进行校正。此外，SaP无需修改模型权重，因此可以保持模型的性能。

关键设计：SaP的关键设计包括：1) 如何选择合适的特征来表示LLM的表征空间；2) 如何学习一个能够准确定义安全区域和不安全区域的多面体；3) 如何设计几何引导算法，以有效地将不安全的输入校正到安全区域。论文中使用了支持向量机（SVM）来学习多面体的面，并使用投影方法将不安全的输入投影到安全区域。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SaP方法在多个LLM上均能有效检测不道德输入，并显著降低对抗攻击的成功率。例如，在检测不道德输入方面，SaP的准确率超过了现有基线方法。在对抗攻击防御方面，SaP能够将攻击成功率降低到接近于零的水平，同时保持LLM在标准任务上的性能。

🎯 应用场景

SaP方法可应用于各种需要确保LLM安全性的场景，例如：自动聊天机器人、内容生成平台、代码生成工具等。通过SaP，可以有效防止LLM生成有害、不道德或具有攻击性的内容，从而提高用户体验，降低安全风险。此外，SaP还可以用于分析LLM的内部表征，从而更好地理解LLM的工作原理。

📄 摘要（原文）

Large language models (LLMs) have emerged as powerful tools but pose significant safety risks through harmful outputs and vulnerability to adversarial attacks. We propose SaP, short for Safety Polytope, a geometric approach to LLM safety that learns and enforces multiple safety constraints directly in the model's representation space. We develop a framework that identifies safe and unsafe regions via the polytope's facets, enabling both detection and correction of unsafe outputs through geometric steering. Unlike existing approaches that modify model weights, SaP operates post-hoc in the representation space, preserving model capabilities while enforcing safety constraints. Experiments across multiple LLMs demonstrate that our method can effectively detect unethical inputs, reduce adversarial attack success rates while maintaining performance on standard tasks, thus highlighting the importance of having an explicit geometric model for safety. Analysis of the learned polytope facets reveals emergence of specialization in detecting different semantic notions of safety, providing interpretable insights into how safety is captured in LLMs' representation space.