Distilling Multi-Teacher Scoring Principles for Unsupervised Time Series Anomaly Detection
作者: Dongchan Cho, Jiho Han, Juwon Hwang, Changhee Min, Minsang Kim, Namsoon Jung
分类: cs.LG, cs.AI
发布日期: 2026-10-21
备注: Accepted by NeurIPS 2026
💡 一句话要点
提出AnoMix以解决无监督时间序列异常检测中的多教师评分问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 无监督学习 时间序列异常检测 知识蒸馏 多教师模型 评分整合
📋 核心要点
- 现有的单一时间序列异常检测器无法覆盖所有异常类型，且集成多个检测器会增加推理和维护成本。
- 提出的AnoMix方法通过从多个教师检测器中提取弱成对监督，利用CoRank目标进行蒸馏，形成一个轻量级的学生模型。
- 在七个基准数据集上，AnoMix的性能超越了单个检测器和静态评分集成，且学生模型参数量小于80k。
📝 摘要（中文）
时间序列异常表现出多样性，现有的单一检测器难以覆盖所有异常类型。尽管最近的无监督时间序列异常检测器提供了互补的评分信号，但将它们作为集成使用会增加推理和维护成本。本文研究了如何将异构教师检测器蒸馏为一个轻量级的检测器，提出了AnoMix方法，通过从冻结的教师模型中提取弱的成对监督，利用多教师排名蒸馏目标CoRank将教师评分差异转化为成对监督。实验结果表明，AnoMix在七个基准数据集上成功整合了教师评分原则，显著提升了检测性能，同时使用的学生模型参数少于80k，并且在零-shot变体中显示出对未见数据集的良好迁移能力。
🔬 方法详解
问题定义：本文旨在解决无监督时间序列异常检测中，如何有效整合多个教师检测器的评分原则的问题。现有方法通常依赖单一检测器，难以全面捕捉异常类型，且集成多个检测器会导致推理和维护成本增加。
核心思路：AnoMix通过从多个冻结的教师模型中提取弱成对监督，利用教师评分的差异来训练一个轻量级的学生模型。通过这种方式，能够在没有异常标签的情况下，整合不同教师的评分信号。
技术框架：AnoMix的整体架构包括多个教师检测器和一个学生检测器。首先，独立归一化每个教师的评分序列，然后通过CoRank目标将教师之间的评分差异转化为成对监督，最后训练学生模型以整合这些信息。
关键创新：最重要的创新在于提出了CoRank目标，它能够将多个教师的评分差异有效转化为成对监督，从而实现了在无监督设置下的知识蒸馏。这与现有方法的本质区别在于不依赖于标签数据。
关键设计：在设计上，AnoMix使用了独立归一化的评分序列和CoRank损失函数，确保了教师评分的有效整合。此外，学生模型的参数设置控制在80k以下，保证了其轻量级特性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，AnoMix在七个基准数据集上显著提升了检测性能，相较于单个检测器和静态评分集成，性能提升幅度可达XX%。此外，零-shot变体在未见数据集上也表现出优越的迁移能力，超越了大型预训练的时间序列基础模型。
🎯 应用场景
该研究在无监督时间序列异常检测领域具有广泛的应用潜力，尤其适用于金融监控、工业设备故障检测和网络安全等场景。通过整合多种检测器的优势，AnoMix能够在缺乏标注数据的情况下，提供更为准确和高效的异常检测解决方案，未来可能推动相关领域的智能监控技术发展。
📄 摘要（原文）
Time series anomalies take diverse forms, and individual detectors encode different anomaly scoring principles that rarely cover all anomaly types. Recent unsupervised time-series anomaly detectors provide complementary scoring signals, yet deploying them as an ensemble preserves the inference and maintenance cost of every individual detector. We study whether heterogeneous teacher detectors can be distilled into a single lightweight detector in the unsupervised setting, where no anomaly labels are available to define a shared target. AnoMix addresses this by extracting weak pairwise supervision from the training-set anomaly scores of frozen teachers. It normalizes each teacher score sequence independently and trains the student with CoRank, a multi-teacher ranking-distillation objective that converts teacher score gaps into pairwise supervision through teacher consensus. Across seven benchmark datasets, AnoMix successfully integrates complementary teacher scoring principles into a single deployable model, improving over individual detectors and static score ensembles while using a compact student with under 80k parameters on the benchmark settings. A zero-shot variant further shows that the distilled ranking signal transfers to unseen datasets and can outperform large pretrained time-series foundation models for anomaly detection.