Optimizing Against Safety Representations: Activation-Guided Adversarial Suffixes and the Geometry of Refusal
作者: Ege Çakar, Hannah Guan, Kayden Kehe
分类: cs.LG
发布日期: 2026-07-09
备注: Accepted at the AAAI 2026 Summer Symposium Series. This paper was presented at the ICLR Re-Align workshop under a different name, "Accelerating Adversarial Suffix Optimization via Continuous Relaxation and Activation-Guided Objectives"
💡 一句话要点
提出激活引导的对抗后缀优化以增强模型安全性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 安全性表示 对抗攻击 激活引导 模型鲁棒性 自然语言处理 优化策略 深度学习
📋 核心要点
- 现有方法在大型语言模型中对安全表示的理解不足，导致脆弱性难以识别和优化。
- 论文提出激活引导的GCG，通过直接优化模型的内部拒绝方向来增强安全性，改进了传统的输出目标。
- 实验结果显示，抑制所有层的拒绝行为更有效，Soft-GCG在速度和攻击成功率上均有显著提升。
📝 摘要（中文）
在大型语言模型中，行为对齐常常掩盖脆弱的内部安全表示。近期研究表明，拒绝行为由激活空间中的低维方向介导。本文研究对抗后缀攻击作为表示对齐的探针，提出激活引导的GCG，直接针对模型的内部拒绝方向进行优化。研究发现，抑制所有层和位置的拒绝行为比单一层-位置对更为有效，表明安全表示在前向传播中是分布式的。进一步引入Soft-GCG，利用Gumbel-Softmax实现离散后缀优化的连续松弛，速度提升达33倍，同时提高攻击成功率。实验表明，小模型仍然脆弱，而大模型在计算受限的设置下抵御激活和后缀攻击，说明更大且安全训练更好的模型更难被破解。此研究为设计更稳健的对齐策略提供了具体指导。
🔬 方法详解
问题定义：本文旨在解决大型语言模型中安全表示的脆弱性，现有方法未能有效识别和优化这些表示，导致模型易受攻击。
核心思路：通过引入激活引导的GCG，论文直接针对模型的内部拒绝方向进行优化，旨在提高模型的安全性和鲁棒性。
技术框架：整体架构包括激活引导的目标函数，分层优化策略，以及Soft-GCG的实现，确保对抗后缀攻击的有效性和效率。
关键创新：最重要的创新在于提出了激活引导的GCG和Soft-GCG，前者通过全层优化拒绝行为，后者通过Gumbel-Softmax实现优化的连续松弛，与现有方法相比显著提高了攻击成功率和速度。
关键设计：关键设计包括损失函数的选择，优化策略的分层实施，以及Soft-GCG的参数设置，确保在计算受限的环境下仍能有效执行。
🖼️ 关键图片
📊 实验亮点
实验结果表明，激活引导的GCG在抑制拒绝行为方面比传统方法更为有效，且Soft-GCG实现了33倍的速度提升，同时提高了攻击成功率。这些结果强调了模型规模与安全性的关系，较大的模型在计算受限的条件下更难被攻击。
🎯 应用场景
该研究的潜在应用领域包括安全性敏感的自然语言处理任务，如对话系统和内容生成。通过增强模型的安全性，能够降低模型被恶意利用的风险，提升用户信任度。未来，这些方法可能会影响更广泛的AI系统设计，推动安全性与性能的平衡。
📄 摘要（原文）
Behavioral alignment in large language models often masks fragile internal safety representations. Recent work suggests that refusal behavior is mediated by low-dimensional directions in activation space. This raises questions about how such representations are structured, localized, and accessed by optimization. We study adversarial suffix attacks as a probe of representational alignment. We introduce Activation-Guided GCG, which replaces output-based objectives with losses that directly target a model's internal refusal direction. Across several objective variants, we find that suppressing refusal globally across all layers and positions is more effective than targeting a single layer-position pair. This suggests that safety representations are distributed across the forward pass rather than causally localized to a single site. We further introduce Soft-GCG, a continuous relaxation of discrete suffix optimization using Gumbel-Softmax. Soft-GCG achieves a 33 $\times$ speedup over standard GCG while improving attack success rates. Evaluating across model scales, we find that smaller models remain vulnerable while larger models resist both activation- and suffix-based attacks at our compute-constrained settings, consistent with larger and better safety trained models being harder to jailbreak. Together, our results clarify how safety mechanisms are encoded and can be broken in contemporary models. These insights provide concrete guidance for designing more robust and representation-aware alignment strategies.