Latent Adversarial Training Improves Robustness to Persistent Harmful Behaviors in LLMs

📄 arXiv: 2407.15549v3 📥 PDF

作者: Abhay Sheshadri, Aidan Ewart, Phillip Guo, Aengus Lynch, Cindy Wu, Vivek Hebbar, Henry Sleight, Asa Cooper Stickland, Ethan Perez, Dylan Hadfield-Menell, Stephen Casper

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-07-22 (更新: 2025-07-29)

备注: Code at https://github.com/aengusl/latent-adversarial-training. Models at https://huggingface.co/LLM-LAT

💡 一句话要点

提出目标导向的隐空间对抗训练，提升LLM对有害行为的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 对抗训练 隐空间 鲁棒性 越狱攻击 后门攻击 知识消除

📋 核心要点

  1. 现有LLM对抗训练主要抑制而非消除有害能力，导致模型易受攻击，例如越狱攻击。
  2. 论文提出目标导向的隐空间对抗训练(LAT)，通过在隐空间对抗性地训练模型，使其对特定有害行为更具鲁棒性。
  3. 实验表明，目标LAT在防御越狱攻击、移除后门和消除不良知识方面优于现有方法，且计算成本更低。

📝 摘要（中文）

大型语言模型(LLM)常常表现出与微调目标相悖的有害行为。例如，通过“越狱”技术可以诱导模型生成有害文本。现有研究表明，对抗性微调主要抑制而非消除LLM中不良能力。本文探索目标导向的隐空间对抗训练(LAT)，旨在提升模型对特定失败模式的鲁棒性。与以往的非目标LAT不同，本文的对抗攻击旨在最小化特定竞争任务的损失。实验表明，该方法能够有效增强多种先进方法的性能。具体而言，目标LAT能以更少的计算资源超越强大的R2D2基线，提升对越狱攻击的鲁棒性；在未知触发器的情况下更有效地移除后门；并以更强的抗重学能力，有效消除特定不良任务的知识。总而言之，目标LAT是防御LLM有害行为的有效工具。

🔬 方法详解

问题定义：大型语言模型容易受到对抗攻击，产生有害行为，例如生成有害文本（越狱攻击）、执行后门任务等。现有的对抗训练方法通常只能抑制这些有害行为，而不能彻底消除，导致模型在面对新的攻击时仍然脆弱。此外，现有的隐空间对抗训练通常采用非目标攻击，缺乏针对性，效果有限。

核心思路：论文的核心思路是利用目标导向的隐空间对抗训练（Targeted Latent Adversarial Training, Targeted LAT）来提升LLM对特定有害行为的鲁棒性。通过在模型的隐空间中进行对抗性扰动，并针对特定的有害任务进行优化，使模型学习到如何抵抗这些有害行为，从而更有效地消除或抑制它们。

技术框架：Targeted LAT 的整体框架包括以下几个步骤：1. 选择目标任务：确定需要防御的特定有害行为，例如越狱攻击、后门攻击等。2. 构建对抗样本：在模型的隐空间中，通过优化算法生成对抗性扰动，使得模型在目标任务上的损失最小化。3. 对抗训练：使用原始样本和对抗样本对模型进行训练，目标是使模型在原始任务上表现良好，同时对对抗样本具有鲁棒性。4. 评估：使用不同的攻击方法评估模型的鲁棒性。

关键创新：该方法最重要的创新点在于其目标导向性。与以往的非目标LAT不同，Targeted LAT 针对特定的有害任务进行优化，从而能够更有效地消除或抑制这些有害行为。此外，该方法在隐空间中进行对抗训练，避免了直接修改模型参数，从而降低了训练成本和风险。

关键设计：Targeted LAT 的关键设计包括：1. 隐空间扰动：选择合适的隐空间进行扰动，例如Transformer模型的中间层激活。2. 对抗损失函数：设计合适的对抗损失函数，用于衡量模型在目标任务上的表现。3. 优化算法：选择合适的优化算法，用于生成对抗性扰动，例如梯度下降法。4. 正则化项：添加正则化项，以防止过拟合和保证模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，目标LAT在多个任务上取得了显著的性能提升。例如，在防御越狱攻击方面，目标LAT以远低于R2D2的计算成本，取得了更好的鲁棒性。在移除后门方面，目标LAT在未知触发器的情况下，能够更有效地消除后门。在消除不良知识方面，目标LAT不仅能够更有效地消除知识，而且具有更强的抗重学能力。

🎯 应用场景

该研究成果可应用于提升大型语言模型在各种场景下的安全性，例如：防止模型生成有害信息、保护用户隐私、防御恶意攻击等。通过目标导向的隐空间对抗训练，可以构建更加安全可靠的LLM，从而促进LLM在各个领域的广泛应用，例如智能客服、内容生成、代码编写等。

📄 摘要（原文）

Large language models (LLMs) can often be made to behave in undesirable ways that they are explicitly fine-tuned not to. For example, the LLM red-teaming literature has produced a wide variety of 'jailbreaking' techniques to elicit harmful text from models that were fine-tuned to be harmless. Recent work on red-teaming, model editing, and interpretability suggests that this challenge stems from how (adversarial) fine-tuning largely serves to suppress rather than remove undesirable capabilities from LLMs. Prior work has introduced latent adversarial training (LAT) as a way to improve robustness to broad classes of failures. These prior works have considered untargeted latent space attacks where the adversary perturbs latent activations to maximize loss on examples of desirable behavior. Untargeted LAT can provide a generic type of robustness but does not leverage information about specific failure modes. Here, we experiment with targeted LAT where the adversary seeks to minimize loss on a specific competing task. We find that it can augment a wide variety of state-of-the-art methods. First, we use targeted LAT to improve robustness to jailbreaks, outperforming a strong R2D2 baseline with orders of magnitude less compute. Second, we use it to more effectively remove backdoors with no knowledge of the trigger. Finally, we use it to more effectively unlearn knowledge for specific undesirable tasks in a way that is also more robust to re-learning. Overall, our results suggest that targeted LAT can be an effective tool for defending against harmful behaviors from LLMs.