AdapTS: Lightweight Teacher-Student Approach for Multi-Class and Continual Visual Anomaly Detection

📄 arXiv: 2603.17530v1 📥 PDF

作者: Manuel Barusco, Davide Dalle Pezze, Francesco Borsatti, Gian Antonio Susto

分类: cs.CV, cs.AI

发布日期: 2026-03-18

💡 一句话要点

AdapTS：轻量级教师-学生框架，用于多类别和持续视觉异常检测

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉异常检测 教师-学生模型 持续学习 多类别分类 边缘计算

📋 核心要点

  1. 现有视觉异常检测方法难以应对工业场景中多类别和持续学习的挑战。
  2. AdapTS采用轻量级教师-学生框架，通过可训练适配器和共享骨干网络实现高效的异常检测。
  3. 实验表明，AdapTS在保持性能的同时，显著降低了内存开销，更适合边缘部署。

📝 摘要（中文）

视觉异常检测(VAD)在工业检测中至关重要，但现有方法大多局限于单类别场景，无法满足真实世界环境中的多类别和持续学习需求。虽然教师-学生(TS)架构很有效，但尚未在持续学习环境中进行探索。为了弥合这一差距，我们提出了AdapTS，一个统一的TS框架，专为多类别和持续学习环境设计，并针对边缘部署进行了优化。AdapTS通过利用单个共享的冻结骨干网络，并将轻量级可训练适配器注入到学生网络路径中，从而消除了对两种不同架构的需求。通过分割引导的目标和合成Perlin噪声来增强训练，同时基于原型的任务识别机制在推理时动态选择适配器，准确率达到99%。在MVTec AD和VisA上的实验表明，AdapTS在多类别和持续学习场景中与现有TS方法的性能相匹配，同时大幅降低了内存开销。我们最轻量级的变体AdapTS-S仅需要8 MB的额外内存，比STFPM（95 MB）少13倍，比RD4AD（360 MB）少48倍，比DeSTSeg（1120 MB）少149倍，使其成为复杂工业环境中高度可扩展的边缘部署解决方案。

🔬 方法详解

问题定义：现有的视觉异常检测方法大多针对单类别场景，无法直接应用于实际工业环境中常见的多类别和持续学习场景。此外，现有方法通常需要大量的计算资源和存储空间，难以部署在资源受限的边缘设备上。因此，如何设计一种能够同时处理多类别和持续学习任务，并且具有较低资源消耗的视觉异常检测方法是一个重要的挑战。

核心思路：AdapTS的核心思路是利用教师-学生框架，并引入轻量级的可训练适配器。教师网络负责提取图像的特征，学生网络通过学习教师网络的输出来进行异常检测。通过共享骨干网络和使用轻量级适配器，可以显著降低模型的参数量和计算复杂度，从而使其更适合边缘部署。此外，AdapTS还采用了一种基于原型的任务识别机制，可以动态地选择合适的适配器，从而实现多类别和持续学习。

技术框架：AdapTS的整体架构包括一个共享的冻结骨干网络、一个教师网络、一个学生网络和多个可训练适配器。骨干网络负责提取图像的底层特征，教师网络利用这些特征生成高质量的异常表示。学生网络通过学习教师网络的输出来进行异常检测。每个适配器对应一个特定的类别或任务，用于调整学生网络的输出，使其更适应当前的任务。在推理阶段，AdapTS首先使用基于原型的任务识别机制来确定当前的任务，然后选择相应的适配器来调整学生网络的输出。

关键创新：AdapTS的关键创新在于以下几个方面：1) 提出了一种轻量级的教师-学生框架，通过共享骨干网络和使用可训练适配器，显著降低了模型的参数量和计算复杂度。2) 采用了一种基于原型的任务识别机制，可以动态地选择合适的适配器，从而实现多类别和持续学习。3) 引入了分割引导的目标和合成Perlin噪声，以增强模型的训练效果。与现有方法相比，AdapTS在保持性能的同时，显著降低了内存开销，更适合边缘部署。

关键设计：AdapTS的关键设计包括：1) 骨干网络的选择：可以使用各种预训练的卷积神经网络，如ResNet或EfficientNet。2) 适配器的设计：可以使用简单的全连接层或卷积层。3) 损失函数的设计：可以使用均方误差或交叉熵损失函数。4) 任务识别机制的设计：可以使用K近邻算法或支持向量机。5) Perlin噪声的参数设置：可以调整噪声的频率和幅度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AdapTS在MVTec AD和VisA数据集上进行了实验，结果表明，AdapTS在多类别和持续学习场景中与现有TS方法的性能相匹配，同时大幅降低了内存开销。AdapTS-S仅需要8 MB的额外内存，比STFPM少13倍，比RD4AD少48倍，比DeSTSeg少149倍。这表明AdapTS是一种高度可扩展的边缘部署解决方案。

🎯 应用场景

AdapTS适用于各种工业视觉检测场景，例如产品缺陷检测、表面瑕疵检测和设备状态监测。其轻量级的设计使其能够部署在资源受限的边缘设备上，实现实时的异常检测。该研究成果有助于提高工业生产的自动化水平和产品质量，降低生产成本，并具有广阔的应用前景。

📄 摘要（原文）

Visual Anomaly Detection (VAD) is crucial for industrial inspection, yet most existing methods are limited to single-category scenarios, failing to address the multi-class and continual learning demands of real-world environments. While Teacher-Student (TS) architectures are efficient, they remain unexplored for the Continual Setting. To bridge this gap, we propose AdapTS, a unified TS framework designed for multi-class and continual settings, optimized for edge deployment. AdapTS eliminates the need for two different architectures by utilizing a single shared frozen backbone and injecting lightweight trainable adapters into the student pathway. Training is enhanced via a segmentation-guided objective and synthetic Perlin noise, while a prototype-based task identification mechanism dynamically selects adapters at inference with 99\% accuracy. Experiments on MVTec AD and VisA demonstrate that AdapTS matches the performance of existing TS methods across multi-class and continual learning scenarios, while drastically reducing memory overhead. Our lightest variant, AdapTS-S, requires only 8 MB of additional memory, 13x less than STFPM (95 MB), 48x less than RD4AD (360 MB), and 149x less than DeSTSeg (1120 MB), making it a highly scalable solution for edge deployment in complex industrial environments.