Understanding and Improving Continuous Adversarial Training for LLMs via In-context Learning Theory

📄 arXiv: 2604.12817v1 📥 PDF

作者: Shaopeng Fu, Di Wang

分类: cs.LG, cs.CR, stat.ML

发布日期: 2026-04-14

备注: The Fourteenth International Conference on Learning Representations (ICLR 2026)

🔗 代码/项目: GITHUB

💡 一句话要点

基于上下文学习理论，改进LLM的连续对抗训练，提升其鲁棒性与实用性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 对抗训练 连续对抗训练 上下文学习 越狱攻击

📋 核心要点

  1. 现有对抗训练（AT）方法应用于大型语言模型（LLM）时，计算成本高昂，效率较低。
  2. 论文提出基于上下文学习理论分析连续对抗训练（CAT）的有效性，并引入正则化项优化CAT目标函数。
  3. 实验结果表明，该方法能有效提升LLM的越狱鲁棒性，并在鲁棒性和实用性之间取得更好的平衡。

📝 摘要（中文）

对抗训练(AT)是防御大型语言模型(LLM)免受越狱攻击的有效方法，但对LLM进行AT的成本很高。为了提高LLM的AT效率，最近的研究提出了连续对抗训练(CAT)，该方法在AT期间搜索LLM连续嵌入空间中的对抗性输入。虽然CAT在经验上取得了成功，但其潜在机制，即嵌入空间中的对抗性扰动如何帮助LLM防御在输入token空间中合成的越狱提示，仍然未知。本文基于上下文学习(ICL)理论，对LLM上的CAT进行了首次理论分析。对于使用嵌入空间中的对抗性示例在上下文线性回归任务上训练的线性transformer，我们证明了一个鲁棒的泛化界限，该界限与嵌入空间中的扰动半径呈负相关。这清楚地解释了为什么CAT可以防御来自LLM token空间的越狱提示。此外，鲁棒界限表明，经过对抗训练的LLM的鲁棒性与其嵌入矩阵的奇异值密切相关。基于此，我们提出通过引入一个额外的正则化项来改进LLM CAT，该正则化项取决于LLM嵌入矩阵的奇异值，并将其加入到CAT的目标函数中。在真实LLM上的实验表明，我们的方法可以帮助LLM实现更好的越狱鲁棒性-效用权衡。代码可在https://github.com/fshp971/continuous-adv-icl 获取。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）对抗训练（AT）效率低下的问题，特别是针对越狱攻击。现有的AT方法直接在token空间进行对抗样本生成和训练，计算成本高昂，难以应用于参数量巨大的LLM。连续对抗训练（CAT）通过在嵌入空间中寻找对抗扰动来降低计算复杂度，但其有效性背后的理论机制尚不明确。

核心思路：论文的核心思路是利用上下文学习（ICL）理论来分析CAT的有效性。通过理论分析，揭示了嵌入空间中的对抗扰动能够提升LLM对token空间越狱攻击的鲁棒性。进一步，论文发现LLM嵌入矩阵的奇异值与模型的鲁棒性密切相关，因此可以通过正则化嵌入矩阵的奇异值来提升模型的对抗防御能力。

技术框架：论文的技术框架主要包含以下几个部分：1) 基于ICL理论对CAT进行理论分析，推导出鲁棒泛化界限；2) 提出基于嵌入矩阵奇异值的正则化项；3) 将该正则化项加入到CAT的目标函数中，进行对抗训练。整体流程为：首先，利用CAT在嵌入空间生成对抗样本；然后，利用对抗样本和正则化项对LLM进行训练，提升其鲁棒性。

关键创新：论文的关键创新在于：1) 首次基于上下文学习理论对连续对抗训练（CAT）的有效性进行了理论分析，解释了其内在机制；2) 提出了基于嵌入矩阵奇异值的正则化方法，能够有效提升LLM的对抗鲁棒性，并在鲁棒性和实用性之间取得更好的平衡。与现有方法相比，该方法不仅具有理论支撑，而且能够通过正则化嵌入矩阵来直接优化模型的鲁棒性。

关键设计：论文的关键设计包括：1) 基于线性transformer和线性回归任务的理论分析框架，简化了分析的复杂度，同时保留了关键的理论性质；2) 正则化项的设计，该正则化项基于嵌入矩阵的奇异值，能够直接影响模型的鲁棒性；3) 实验中，选择真实的LLM模型和越狱攻击数据集，验证了所提出方法的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的基于奇异值正则化的连续对抗训练方法，在真实LLM上能够显著提升越狱鲁棒性，并在鲁棒性和实用性之间取得更好的平衡。具体而言，该方法在保持模型原有性能的同时，能够有效降低越狱攻击的成功率，从而提高LLM的安全性。

🎯 应用场景

该研究成果可应用于提升大型语言模型（LLM）的安全性，防御恶意攻击，例如越狱攻击和提示注入攻击。通过提高LLM的鲁棒性，可以使其在各种应用场景中更加可靠，例如智能客服、内容生成和代码生成等。此外，该研究提出的正则化方法也可以推广到其他类型的对抗训练中，提升模型的泛化能力和鲁棒性。

📄 摘要（原文）

Adversarial training (AT) is an effective defense for large language models (LLMs) against jailbreak attacks, but performing AT on LLMs is costly. To improve the efficiency of AT for LLMs, recent studies propose continuous AT (CAT) that searches for adversarial inputs within the continuous embedding space of LLMs during AT. While CAT has achieved empirical success, its underlying mechanism, i.e., why adversarial perturbations in the embedding space can help LLMs defend against jailbreak prompts synthesized in the input token space, remains unknown. This paper presents the first theoretical analysis of CAT on LLMs based on in-context learning (ICL) theory. For linear transformers trained with adversarial examples from the embedding space on in-context linear regression tasks, we prove a robust generalization bound that has a negative correlation with the perturbation radius in the embedding space. This clearly explains why CAT can defend against jailbreak prompts from the LLM's token space. Further, the robust bound shows that the robustness of an adversarially trained LLM is closely related to the singular values of its embedding matrix. Based on this, we propose to improve LLM CAT by introducing an additional regularization term, which depends on singular values of the LLM's embedding matrix, into the objective function of CAT. Experiments on real-world LLMs demonstrate that our method can help LLMs achieve a better jailbreak robustness-utility tradeoff. The code is available at https://github.com/fshp971/continuous-adv-icl.