Active Adaptation, Not Static Defense: Temporal Dynamics of Preventative Steering in Adversarial Fine-Tuning
作者: Jing Guan, Yachao Yang, Zhaoliang Liu, Yuyao Zhang, Fanyu Meng, Junlan Feng
分类: cs.CL, cs.AI, cs.CR, cs.LG
发布日期: 2026-09-09
备注: Accepted to Findings of EMNLP 2026
💡 一句话要点
提出渐进强度调度以解决静态防御的不足
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 恶意微调 预防性引导 动态防御 渐进强度调度 安全性鲁棒性 大型语言模型 适应性调整
📋 核心要点
- 现有的预防性引导方法在防御恶意微调时存在静态防御的局限性，难以保持长期的有效性。
- 论文提出渐进强度调度（PIS），通过动态调整注入强度来增强防御效果，克服静态防御的不足。
- 实验结果表明，PIS在Qwen2.5和Gemma-3模型中显著提高了安全性鲁棒性，并有效减少了有害特征的表现。
📝 摘要（中文）
大型语言模型在恶意微调下依然脆弱，这促使研究者探索训练时的防御机制以应对有害的人格漂移。预防性引导在微调过程中注入不良特征的人格向量，并在评估时移除，但其持久保护机制尚不明确。通过分析其时间优化动态，发现防御机制源于早期的补偿适应阶段，随后进入信号衰减的稳态阶段。在参数空间中，注意力输出投影成为防御更新的主要残差写入路径。进一步的实验表明，保持或重新注入权重偏移无法维持保护，表明预防性引导依赖于主动适应而非静态防御。基于这一发现，提出渐进强度调度（PIS），其在静态强度衰减后逐步增加注入强度。PIS在评估的Qwen2.5和Gemma-3模型中提高了安全性鲁棒性，并减少了有害特征的表达。
🔬 方法详解
问题定义：论文要解决的问题是大型语言模型在恶意微调下的脆弱性，现有的预防性引导方法依赖静态防御，难以适应动态变化的攻击策略。
核心思路：论文的核心思路是通过渐进强度调度（PIS）来实现动态的防御机制，初始采用适中的注入强度，随着静态强度的衰减而逐步增加注入强度，以保持防御效果。
技术框架：整体架构包括两个主要阶段：首先是补偿适应阶段，在此阶段注入不良特征向量；其次是稳态阶段，逐步调整注入强度以应对信号衰减。
关键创新：最重要的技术创新点在于提出了渐进强度调度（PIS），与传统的静态防御方法相比，PIS能够根据模型的动态变化进行适应性调整，从而提高防御的有效性。
关键设计：在PIS中，关键参数包括初始注入强度和增量调整策略，损失函数设计考虑了防御效果与模型性能之间的平衡，确保在提高鲁棒性的同时不损害模型的生成能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用渐进强度调度（PIS）后，Qwen2.5和Gemma-3模型的安全性鲁棒性显著提高，相比静态强度引导，减少了有害特征的表达，具体提升幅度未明确说明，但整体效果显著。
🎯 应用场景
该研究的潜在应用领域包括大型语言模型的安全性增强，尤其是在社交媒体、在线客服和自动生成内容等场景中，能够有效防止恶意微调带来的风险。未来，随着模型应用的广泛，PIS方法可能成为保护模型安全的重要标准。
📄 摘要（原文）
Large language models remain fragile against malicious fine-tuning, motivating training-time defenses against harmful persona drift. Preventative Steering injects undesirable-trait persona vectors during fine-tuning and removes them at evaluation time, yet the mechanism behind its lasting protection remains unclear. Analyzing its temporal optimization dynamics, we find that the defense emerges from an early compensatory adaptation phase followed by a steady-state phase where the corrective signal decays; in parameter space, attention output projections emerge as the dominant residual-write route for defensive updates. Through Intervention Delta Preservation (IDP) and IDP Continuation experiments, we further show that preserving or reinjecting the weight offset fails to maintain protection, indicating that preventative steering relies on active adaptation rather than a static defense. Motivated by this finding, we propose Progressive Intensity Scheduling (PIS), which starts with a moderate injection strength and increases it after static-strength alignment begins to decay. Across the evaluated Qwen2.5 and Gemma-3 models, PIS improves safety robustness over static-strength steering while reducing harmful trait expression.