Dual-Modeling Decouple Distillation for Unsupervised Anomaly Detection

📄 arXiv: 2408.03888v2 📥 PDF

作者: Xinyue Liu, Jianyuan Wang, Biao Leng, Shuo Zhang

分类: cs.CV

发布日期: 2024-08-07 (更新: 2024-10-15)

备注: 10 pages, 8 figures, Accepted to ACM MM '24

DOI: 10.1145/3664647.3681669

💡 一句话要点

提出双模型解耦蒸馏方法以解决无监督异常检测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 无监督异常检测 知识蒸馏 双模型解耦 特征表示 异常定位 深度学习 图像处理

📋 核心要点

  1. 现有无监督异常检测方法在学生网络对教师网络的过度泛化方面存在不足，导致异常检测效果不佳。
  2. 本文提出双模型解耦蒸馏（DMDD）方法，通过解耦学生特征并引入正常-异常图像对的双模型蒸馏来增强异常特征的表示能力。
  3. 在MVTec AD数据集上，DMDD的像素级AUC达到98.85%，显著提升了异常检测的定位性能。

📝 摘要（中文）

基于学生-教师网络的知识蒸馏是解决无监督异常检测任务的主流方案之一，利用教师和学生网络在表示能力上的差异来实现异常定位。然而，学生网络对教师网络的过度泛化可能导致异常表示能力的差异微乎其微，从而影响检测效果。现有方法通过结构或内容的差异化来应对过度泛化，但这可能导致学生网络的欠拟合及异常检测能力不足。本文提出了双模型解耦蒸馏（DMDD）方法，旨在解决这一问题。DMDD通过解耦学生特征为正常和异常特征，并引入基于正常-异常图像对的双模型蒸馏，增强异常区域的特征距离。最终，提出多感知分割网络实现异常图的聚焦融合。实验结果表明，DMDD在MVTec AD数据集上超越了现有方法的定位性能，像素级AUC达到98.85%。

🔬 方法详解

问题定义：本文旨在解决无监督异常检测中学生网络对教师网络的过度泛化问题，导致异常表示能力不足，影响检测效果。

核心思路：提出双模型解耦蒸馏（DMDD）方法，通过将学生特征解耦为正常和异常特征，并利用正常-异常图像对进行双模型蒸馏，增强异常区域的特征表示能力。

技术框架：DMDD整体架构包括解耦学生-教师网络、双模型蒸馏模块和多感知分割网络。解耦网络将输入特征分为正常和异常特征，双模型蒸馏模块则通过正常-异常图像对进行特征匹配。

关键创新：DMDD的核心创新在于解耦学生特征并引入双模型蒸馏机制，显著提高了异常检测的准确性，尤其是在异常边缘和中心的检测能力。

关键设计：在网络结构上，采用了多层次的特征提取模块，并设计了特定的损失函数以优化正常和异常特征之间的距离，确保模型在训练过程中有效学习异常特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DMDD在MVTec AD数据集上取得了98.85%的像素级AUC和96.13%的PRO，超越了现有基于知识蒸馏的方法，展现出显著的性能提升，尤其在异常定位方面的表现尤为突出。

🎯 应用场景

该研究的潜在应用领域包括工业缺陷检测、医疗影像分析和安全监控等场景。通过提高无监督异常检测的准确性，DMDD能够帮助相关行业更有效地识别和处理异常情况，从而提升生产效率和安全性。未来，该方法可能在更多实际应用中发挥重要作用。

📄 摘要（原文）

Knowledge distillation based on student-teacher network is one of the mainstream solution paradigms for the challenging unsupervised Anomaly Detection task, utilizing the difference in representation capabilities of the teacher and student networks to implement anomaly localization. However, over-generalization of the student network to the teacher network may lead to negligible differences in representation capabilities of anomaly, thus affecting the detection effectiveness. Existing methods address the possible over-generalization by using differentiated students and teachers from the structural perspective or explicitly expanding distilled information from the content perspective, which inevitably result in an increased likelihood of underfitting of the student network and poor anomaly detection capabilities in anomaly center or edge. In this paper, we propose Dual-Modeling Decouple Distillation (DMDD) for the unsupervised anomaly detection. In DMDD, a Decouple Student-Teacher Network is proposed to decouple the initial student features into normality and abnormality features. We further introduce Dual-Modeling Distillation based on normal-anomaly image pairs, fitting normality features of anomalous image and the teacher features of the corresponding normal image, widening the distance between abnormality features and the teacher features in anomalous regions. Synthesizing these two distillation ideas, we achieve anomaly detection which focuses on both edge and center of anomaly. Finally, a Multi-perception Segmentation Network is proposed to achieve focused anomaly map fusion based on multiple attention. Experimental results on MVTec AD show that DMDD surpasses SOTA localization performance of previous knowledge distillation-based methods, reaching 98.85% on pixel-level AUC and 96.13% on PRO.