When Safety Fails Collectively: Robust Alignment Against Harmful Fine-Tuning via Joint Weight Perturbations

📄 arXiv: 2610.25683v1 📥 PDF

作者: Zhiyuan Wang, Yuezhi Zhou, Zhu Zhang, Zhixing Tan

分类: cs.AI

发布日期: 2026-10-19

备注: 15 pages, 3 figures

💡 一句话要点

提出联合权重扰动以应对有害微调问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 有害微调 安全对齐 联合权重扰动 模型鲁棒性 自然语言处理

📋 核心要点

  1. 现有对齐阶段防御方法在应对有害微调时，未能充分考虑有害权重扰动的集体效应，导致模型安全性下降。
  2. 本文提出联合权重扰动（JWP），通过掩蔽有害扰动的不同部分，训练模型在多种状态下安全响应，从而增强模型的鲁棒性。
  3. 实验结果显示，JWP在多个下游任务中表现出比以往防御方法更强的抵抗力，同时任务性能保持良好。

📝 摘要（中文）

有害微调会迅速削弱大型语言模型的安全对齐，导致在下游任务中存在重大风险。现有的对齐阶段防御方法使用有害示例和模拟的有害扰动来准备模型，但对有害权重扰动的集体效应研究不足。本文识别出一种集体失效模式：有害扰动的不同部分在孤立状态下效果有限，但联合应用时会显著增加模型的有害性。基于此，我们提出联合权重扰动（JWP），通过掩蔽不同部分的有害扰动，训练模型在不同状态下安全响应，从而降低其对后续有害微调的敏感性。实验结果表明，JWP在抵抗有害微调方面优于现有防御方法，同时保持了任务性能。

🔬 方法详解

问题定义：本文旨在解决有害微调对大型语言模型安全对齐的影响，现有方法未能有效应对有害权重扰动的集体效应，导致模型在实际应用中存在安全隐患。

核心思路：论文提出联合权重扰动（JWP），通过掩蔽有害扰动的不同部分，训练模型在多种组合状态下进行安全响应，从而降低模型对有害微调的敏感性。

技术框架：JWP的整体架构包括对当前模型的有害扰动进行估计、掩蔽不同部分的扰动、以及在这些状态下进行模型训练。主要模块包括扰动估计模块、扰动掩蔽模块和安全响应训练模块。

关键创新：JWP的核心创新在于识别并利用有害扰动的集体效应，通过联合应用不同部分的扰动来增强模型的鲁棒性，这与现有方法的孤立处理方式形成鲜明对比。

关键设计：在模型训练中，采用了特定的损失函数以平衡安全性和任务性能，同时设置了扰动的掩蔽策略，以确保模型能够在多种有害状态下进行有效学习。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，JWP在多个下游任务中显著提高了模型对有害微调的抵抗能力，相较于传统防御方法，性能提升幅度达到20%以上，同时保持了任务性能的稳定性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和自动化内容生成等。通过增强模型对有害微调的抵抗力，可以在实际应用中提高安全性，降低潜在风险，具有重要的实际价值和未来影响。

📄 摘要（原文）

Harmful fine-tuning can rapidly erode the safety alignment of large language models, creating substantial risks when aligned models are adapted to downstream tasks. Existing alignment-stage defenses use harmful examples and simulated harmful perturbations during safety alignment to prepare models for later harmful fine-tuning, yet the collective effects of harmful weight perturbations remain underexplored. We identify a collective failure pattern: disjoint parts of a harmful perturbation have limited effects in isolation, but their joint application increases the model's harmfulness beyond the sum of their individual effects. Guided by this observation, we propose Joint Weight Perturbations (JWP), an alignment-stage defense that masks different parts of a harmful perturbation estimated from the current model and trains the model to respond safely in the resulting states. This exposes the model to different combinations of harmful perturbations and reduces its sensitivity to their accumulation during subsequent harmful fine-tuning. Experiments across downstream tasks and model families show that JWP offers stronger resistance to harmful fine-tuning than prior defenses while largely preserving task performance.