SLDR: Defending Against Malicious Fine-tuning via Selective Layers Recovery and Dynamic Routing

📄 arXiv: 2610.10345v1 📥 PDF

作者: Hui Zhang, Yachao Yuan, Jiayun Wang, Yuanzhuo Li, Hongtao Wang, Yali Yuan

分类: cs.CR, cs.AI

发布日期: 2026-10-07

备注: Accepted at NeurIPS 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出SLDR以防御恶意微调问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 恶意微调 安全性 动态路由 层级敏感性 大型语言模型 适配器训练 模型防御 深度学习

📋 核心要点

  1. 现有微调方法在面对恶意微调时，可能导致模型拒绝能力下降，影响安全性。
  2. SLDR通过选择性层恢复和动态路由，仅在敏感性极端的层上进行适配器训练，针对恶意查询进行防御。
  3. 实验结果显示，SLDR在Llama3.1/SST2上将平均有害评分从11.54降低至0.08，且在高达0.9的中毒比率下，保持有害评分接近零。

📝 摘要（中文）

微调即服务使用户能够将大型语言模型（LLMs）适应特定任务，但恶意微调可能削弱拒绝行为，同时在合法输入上保持任务性能。本文重新审视了层级安全诊断，发现安全敏感性是有符号的：不同层的缩放可以增强或削弱拒绝行为，或几乎没有影响。基于此观察，本文提出SLDR，一种基于选择性层恢复和动态路由的后微调防御方法。SLDR仅在敏感性评分最高和最低的层上训练LoRA恢复适配器，并使用基于表示的动态路由推理，仅对恶意查询激活适配器。在四种模型架构、五个下游任务和四个有害基准上，SLDR显著减少有害输出，同时保持下游效用。

🔬 方法详解

问题定义：本文旨在解决恶意微调对大型语言模型拒绝能力的影响，现有方法在此方面表现不佳，可能导致安全性下降。

核心思路：SLDR的核心思路是通过选择性层恢复和动态路由，针对不同层的安全敏感性进行有针对性的防御设计，以增强模型的拒绝能力。

技术框架：SLDR的整体架构包括两个主要模块：选择性层恢复模块和动态路由推理模块。前者负责在敏感性评分极端的层上训练适配器，后者则根据输入的特征动态激活适配器。

关键创新：SLDR的创新在于利用层级敏感性评分进行选择性训练，显著提高了模型在恶意输入下的安全性，与传统方法相比，具有更高的针对性和有效性。

关键设计：在设计上，SLDR使用LoRA适配器，仅在敏感性评分最高和最低的层上进行训练，损失函数设计为兼顾拒绝能力和下游任务性能，确保模型在恶意查询和合法输入下的平衡表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SLDR在多个实验中表现出色，特别是在Llama3.1/SST2上，平均有害评分从11.54降至0.08，显示出显著的安全性提升。同时，在高达0.9的中毒比率下，模型的有害评分依然保持在接近零的水平，验证了其有效性。

🎯 应用场景

SLDR的研究成果具有广泛的应用潜力，尤其在安全敏感的领域如金融、医疗和社交媒体等。通过增强模型的拒绝能力，可以有效防止恶意攻击，保护用户数据和隐私。此外，该方法的灵活性使其能够适应不同的模型架构和任务，具有良好的推广价值。

📄 摘要（原文）

Fine-tuning-as-a-service enables users to adapt aligned large language models (LLMs) to specialized tasks, but malicious fine-tuning can erode refusal behavior while preserving task performance on legitimate inputs. We revisit recent layer-wise safety diagnostics and find that safety sensitivity is signed: scaling different layers can strengthen refusal, weaken it, or have little effect. Motivated by this observation, we propose SLDR, a post-fine-tuning defense based on Selective Layers Recovery and Dynamic Routing. SLDR trains a LoRA recovery adapter only on the layers with the maximum and minimum sensitivity scores in the signed spectrum, and uses representation-based dynamic routing inference to activate the adapter only for malicious queries. Across four model architectures, five downstream tasks, and four harmful benchmarks, SLDR substantially reduces harmful outputs while preserving downstream utility. On Llama3.1/SST2, SLDR reduces the average harmful score from 11.54 to 0.08 while maintaining downstream accuracy, and the harmful score remains near zero under poisoning ratios up to 0.9. The code is available at https://github.com/Stardust457/SLDR.