Activation Differences Reveal Backdoors: A Comparison of SAE Architectures

📄 arXiv: 2605.07324v1 📥 PDF

作者: Sachin Kumar

分类: cs.CL, cs.AI, cs.CR, cs.LG

发布日期: 2026-05-08

备注: Accepted at IJCNN 2026 (IEEE WCCI). ©2026 IEEE

💡 一句话要点

利用差异化稀疏自编码器（Diff-SAE）揭示并隔离语言模型中的后门触发特征

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机械可解释性 稀疏自编码器 后门检测 AI安全 特征隔离 大语言模型

📋 核心要点

  1. 现有机械可解释性方法难以有效从模型内部激活中精准定位并隔离隐蔽的后门触发模式。
  2. 论文提出Diff-SAE架构，通过建模激活值的差异而非直接重构激活，捕捉后门诱发的方向性偏移。
  3. 实验证明Diff-SAE在多层Transformer及不同微调策略下均能实现近乎完美的后门特征隔离效果。

📝 摘要（中文）

针对语言模型中后门攻击带来的安全威胁，本文探讨了利用机械可解释性方法检测后门的可行性。作者对比了两种稀疏自编码器（SAE）架构——Crosscoders与差异化SAE（Diff-SAE），旨在从微调模型中隔离后门相关特征。实验基于SmolLM2-360M模型，通过SQL注入后门（以年份为触发器）进行受控测试，涵盖LoRA与全参数微调场景。研究发现，Diff-SAE在后门隔离表现上显著优于Crosscoders，其后门隔离分数（BIS）达到0.40，且在多数条件下保持1.0的精确率。结果表明，后门更倾向于表现为激活值的方向性偏移，而非稀疏特征激活，这为AI安全监测与模型操纵检测提供了新的技术路径。

🔬 方法详解

问题定义：论文旨在解决语言模型中后门攻击的检测难题。现有方法通常试图通过稀疏自编码器（SAE）重构模型激活来寻找特征，但后门往往隐藏在正常的激活分布中，导致传统SAE难以将其与良性特征区分开来。

核心思路：研究者提出后门在模型中表现为“方向性激活偏移”而非“稀疏特征激活”。因此，相比于直接重构激活值的Crosscoders，Diff-SAE通过建模后门触发输入与正常输入之间的激活差异，能够更有效地提取后门相关的特征信号。

技术框架：该方法将模型在触发输入与基准输入下的激活差值作为输入，训练Diff-SAE进行特征分解。通过对比实验，在SmolLM2-360M模型的多个Transformer层（14, 18, 22, 26层）上评估了该架构在LoRA和全参数微调下的表现。

关键创新：核心创新在于将SAE的训练目标从“重构激活”转向“重构激活差异”。这一范式转换使得模型能够过滤掉背景噪声，专注于由后门触发器引起的特定方向性变化，从而实现极高的检测精确率。

关键设计：Diff-SAE通过计算触发样本与非触发样本的激活差值（Activation Differences）作为训练目标。实验中使用了SQL注入作为触发器，并引入后门隔离分数（BIS）作为量化指标，证明了该方法在保持零误报率的同时，能显著提升后门特征的识别能力。

📊 实验亮点

Diff-SAE在后门隔离任务中表现卓越，BIS分数达到0.40，远超Crosscoders的0.02。在多种实验条件下，Diff-SAE实现了1.0的精确率（Precision）和零误报率，特别是在全参数微调模型中，后门信号的提取效果尤为清晰，证明了差异化建模在捕捉隐蔽后门特征方面的显著优势。

🎯 应用场景

该研究在AI安全审计与模型合规性检测领域具有重要价值。它为开发者提供了一种主动探测模型是否存在恶意后门的新工具，可应用于大模型部署前的安全评估、第三方模型供应链审查以及针对模型中毒攻击的防御系统，有效提升AI系统的鲁棒性与可信度。

📄 摘要（原文）

Backdoor attacks on language models pose a significant threat to AI safety, where models behave normally on most inputs but exhibit harmful behavior when triggered by specific patterns. Detecting such backdoors through mechanistic interpretability remains an open challenge. We investigate two sparse autoencoder architectures -- Crosscoders and Differential SAEs (Diff-SAE) -- for isolating backdoor-related features in fine-tuned models. Using a controlled SQL injection backdoor triggered by year-based context ("2024" triggers vulnerable code, "2023" triggers safe code), we evaluate both approaches across LoRA and full-rank fine-tuning regimes on SmolLM2-360M. We find that Diff-SAE consistently and substantially outperforms Crosscoders for backdoor isolation. Diff-SAE achieves a Backdoor Isolation Score (BIS) of 0.40 with perfect precision (1.0) and zero false positive rate across most experimental conditions, while Crosscoders fail almost entirely with BIS below 0.02 in most cases. This performance gap holds across multiple transformer layers (14, 18, 22, 26) and both fine-tuning regimes, with full-rank fine-tuning producing particularly clean backdoor signals. Our results suggest that backdoors manifest as directional activation shifts rather than sparse feature activations, making difference-based representations fundamentally more effective for detection. These findings have important implications for AI safety monitoring and the development of interpretability tools for detecting model manipulation.