Decoupled Alignment for Robust Plug-and-Play Adaptation

📄 arXiv: 2406.01514 📥 PDF

作者: Haozheng Luo, Jiahao Yu, Wenxin Zhang, Jialong Li, Chenghao Qiu, Yimin Wang, Eric Hanchen Jiang, Jerry Yao-Chieh Hu, Yan Chen, Binghui Wang, Xinyu Xing, Han Liu

分类: cs.CL, cs.AI, cs.CR

发布日期: 2026-07-20

💡 一句话要点

提出无监督对齐方法以增强大语言模型的安全性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 知识蒸馏 模型融合 安全性增强 无监督学习 对齐方法 防御机制

📋 核心要点

  1. 现有方法在对齐大型语言模型时，往往依赖于监督微调或人类反馈，存在效率低下和适应性差的问题。
  2. 本文提出了一种无监督的对齐方法，通过知识蒸馏提取对齐信号，并通过模型融合实现即插即用的对齐修正。
  3. 实验结果表明，本文方法在有害问题数据集上防御成功率提升约14.42%，在17个模型中最高可达51.39%。

📝 摘要（中文）

本文介绍了一种无监督的安全增强方法，用于对齐大型语言模型（LLMs），无需进行监督微调或人类反馈的强化学习。我们的主要思想是提供一种稳健的即插即用方法，以防止在模型适应下游任务时出现阴影对齐。具体而言，我们利用知识蒸馏从已对齐的LLMs中提取对齐信号，并通过模型融合将其注入阴影对齐模型，实现即插即用的对齐修正。在有害问题数据集上，我们的方法显著提升了平均防御成功率约14.42%，在17个受影响的LLMs中最高可达51.39%，且未影响性能。我们的代码可在此链接获取。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在适应下游任务时可能出现的阴影对齐问题。现有方法依赖于监督微调，导致效率低且适应性不足。

核心思路：我们提出了一种无监督的安全增强方法，通过知识蒸馏从已对齐的模型中提取对齐信号，并将其注入阴影对齐模型，以实现对齐修正。这样的设计使得模型能够在不需要大量标注数据的情况下进行有效的对齐。

技术框架：整体架构包括知识蒸馏模块、模型融合模块和防御评估模块。首先，通过知识蒸馏提取对齐信号，然后将其与阴影对齐模型进行融合，最后评估模型在防御有害问题上的表现。

关键创新：本文的主要创新在于提出了一种无监督的对齐方法，利用知识蒸馏和模型融合的结合，显著提升了模型的安全性和适应性。这与传统依赖于监督学习的方法有本质区别。

关键设计：在技术细节上，我们采用了delta调试来识别有效蒸馏所需的关键知识组件，并在模型融合过程中优化了参数设置，以确保对齐信号的有效注入。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，本文方法在有害问题数据集上的平均防御成功率提升了约14.42%，在17个受影响的LLMs中，最高成功率达到了51.39%。这一显著提升表明了方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的安全性增强、对抗性攻击防御以及大语言模型的适应性提升。通过提供无监督的对齐方法，能够在多种下游任务中提高模型的安全性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

We introduce a training-free safety enhancement method for aligning large language models (LLMs) without the need for supervised fine-tuning or reinforcement learning from human feedback. Our main idea is to provide a robust plug-and-play approach to prevent shadow alignment when models are adapted to downstream tasks. Specifically, we leverage knowledge distillation to extract alignment signals from well-aligned LLMs and inject them into shadow-aligned models via model fusion, enabling plug-and-play alignment correction. In our methodology, we employ delta debugging to identify the critical components of knowledge necessary for effective distillation. On the harmful question dataset, our method significantly enhances the average defense success rate by approximately 14.42%, reaching as high as 51.39% across 17 influenced LLMs, without compromising performance. Our code is available atthis https URL.