A Contrastive Teacher-Student Framework for Novelty Detection under Style Shifts

📄 arXiv: 2501.17289v1 📥 PDF

作者: Hossein Mirzaei, Mojtaba Nafez, Moein Madadi, Arad Maleki, Mahdi Hajialilue, Zeinab Sadat Taghavi, Sepehr Rezaee, Ali Ansari, Bahar Dibaei Nia, Kian Shamsaie, Mohammadreza Salehi, Mackenzie W. Mathis, Mahdieh Soleymani Baghshah, Mohammad Sabokrou, Mohammad Hossein Rohban

分类: cs.CV

发布日期: 2025-01-28

备注: The code repository is available at: https://github.com/rohban-lab/CTS

💡 一句话要点

提出对比师生框架，解决风格迁移下的新颖性检测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 新颖性检测 风格迁移 对比学习 知识蒸馏 异常检测

📋 核心要点

  1. 现有新颖性检测方法在风格迁移下性能显著下降，原因是模型容易将风格特征与核心特征混淆。
  2. 论文提出对比师生框架，通过构建辅助OOD集和知识蒸馏策略，使模型关注核心特征而非风格特征。
  3. 在多个数据集上的实验表明，该方法能够有效提升新颖性检测在风格迁移下的鲁棒性。

📝 摘要（中文）

本文旨在提升新颖性检测（ND）的性能。然而，ND方法在环境变化引起的微小分布偏移（即风格迁移）下，性能会显著下降。这是由于ND设置的特殊性，训练期间缺少异常样本（OOD），导致检测器偏向于训练数据（ID）中的主要风格特征。因此，模型错误地将风格与核心特征相关联，并利用这种捷径进行检测。鲁棒的ND对于自动驾驶和医学成像等实际应用至关重要，因为测试样本可能具有与训练数据不同的风格。为此，我们提出了一种鲁棒的ND方法，该方法构建了一个辅助OOD集，其风格特征与ID集相似，但核心特征不同。然后，利用基于任务的知识蒸馏策略来区分核心特征和风格特征，并帮助我们的模型依赖核心特征来区分构建的OOD集和ID集。通过在包括合成和真实世界基准在内的多个数据集上进行的大量实验评估，验证了我们方法的有效性，并与九种不同的ND方法进行了比较。

🔬 方法详解

问题定义：论文旨在解决新颖性检测（Novelty Detection, ND）方法在风格迁移（Style Shifts）下性能显著下降的问题。现有的ND方法在训练时缺乏异常样本（Out-of-Distribution, OOD），导致模型容易学习到训练数据（In-Distribution, ID）的风格特征，并将这些风格特征错误地与核心特征关联起来，从而在测试时无法正确区分新颖样本。

核心思路：论文的核心思路是通过对比学习和知识蒸馏，使模型能够区分核心特征和风格特征，从而更加关注核心特征来进行新颖性检测。具体来说，首先构建一个辅助的OOD数据集，该数据集具有与ID数据集相似的风格特征，但具有不同的核心特征。然后，利用知识蒸馏，让学生模型学习教师模型区分ID数据和辅助OOD数据的能力，从而使学生模型更加关注核心特征。

技术框架：整体框架包含两个主要部分：辅助OOD数据集构建和对比师生学习。首先，通过某种方式（例如，使用GAN或数据增强）生成与ID数据具有相似风格但不同核心特征的OOD数据。然后，构建一个教师模型和一个学生模型。教师模型使用ID数据和生成的OOD数据进行训练，目标是区分这两类数据。学生模型通过知识蒸馏学习教师模型的输出，从而学习到区分核心特征和风格特征的能力。

关键创新：论文的关键创新在于提出了一个对比师生学习框架，该框架能够有效地解决风格迁移下的新颖性检测问题。通过构建辅助OOD数据集和利用知识蒸馏，模型能够更加关注核心特征，从而提高在风格迁移下的鲁棒性。与现有方法相比，该方法不需要预先知道具体的风格迁移类型，具有更强的泛化能力。

关键设计：辅助OOD数据集的构建方式至关重要，需要保证生成的OOD数据具有与ID数据相似的风格特征，但具有不同的核心特征。知识蒸馏可以使用不同的损失函数，例如KL散度或MSE损失。教师模型和学生模型的网络结构可以根据具体任务进行选择。论文中可能还涉及到一些超参数的设置，例如学习率、batch size等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过在多个数据集上进行实验，验证了所提出方法的有效性。实验结果表明，该方法在风格迁移下能够显著提升新颖性检测的性能，优于现有的新颖性检测方法。具体的性能数据和提升幅度需要在论文中查找。

🎯 应用场景

该研究成果可应用于自动驾驶、医学图像分析、工业异常检测等领域。在这些领域中，测试数据可能与训练数据存在风格差异，例如光照条件变化、成像设备不同等。该方法能够提高新颖性检测的鲁棒性，从而提升系统的安全性和可靠性，具有重要的实际应用价值。

📄 摘要（原文）

There have been several efforts to improve Novelty Detection (ND) performance. However, ND methods often suffer significant performance drops under minor distribution shifts caused by changes in the environment, known as style shifts. This challenge arises from the ND setup, where the absence of out-of-distribution (OOD) samples during training causes the detector to be biased toward the dominant style features in the in-distribution (ID) data. As a result, the model mistakenly learns to correlate style with core features, using this shortcut for detection. Robust ND is crucial for real-world applications like autonomous driving and medical imaging, where test samples may have different styles than the training data. Motivated by this, we propose a robust ND method that crafts an auxiliary OOD set with style features similar to the ID set but with different core features. Then, a task-based knowledge distillation strategy is utilized to distinguish core features from style features and help our model rely on core features for discriminating crafted OOD and ID sets. We verified the effectiveness of our method through extensive experimental evaluations on several datasets, including synthetic and real-world benchmarks, against nine different ND methods.