DConAD: A Differencing-based Contrastive Representation Learning Framework for Time Series Anomaly Detection

📄 arXiv: 2504.14204v2 📥 PDF

作者: Wenxin Zhang, Xiaojian Lin, Wenjun Yu, Guangzhen Yao, jingxiang Zhong, Yu Li, Renda Han, Songcheng Xu, Hao Shi, Cuicui Luo

分类: cs.LG, cs.AI

发布日期: 2025-04-19 (更新: 2025-05-02)

🔗 代码/项目: GITHUB

💡 一句话要点

DConAD：基于差分对比表示学习的时间序列异常检测框架

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 时间序列异常检测 对比学习 Transformer 差分数据 无监督学习

📋 核心要点

  1. 现有时间序列异常检测方法难以有效捕获复杂时序数据中的鲁棒依赖关系，且易受高质量先验知识的影响。
  2. DConAD通过生成差分数据增强时序信息，利用Transformer捕获时空依赖，并采用基于KL散度的对比学习进行无偏表示学习。
  3. 在五个公共数据集上的实验结果表明，DConAD优于九个基线方法，验证了其有效性和优越性。

📝 摘要（中文）

时间序列异常检测在风险识别和故障检测等领域具有重要意义。无监督学习方法因其无需标签而备受欢迎。然而，由于异常模式的多样性、异常的稀疏性以及数据规模和复杂性的增长带来的挑战，这些方法通常无法捕获时间序列中鲁棒且具有代表性的依赖关系，从而难以识别异常。为了增强模型捕获时间序列正常模式的能力，并避免因依赖高质量先验知识而导致建模能力退化，我们提出了一种基于差分对比表示学习的时间序列异常检测框架（DConAD）。具体而言，DConAD生成差分数据以提供关于时间序列的额外信息，并利用基于Transformer的架构来捕获时空依赖关系，从而增强无偏表示学习能力的鲁棒性。此外，DConAD实现了一种新颖的基于KL散度的对比学习范式，该范式仅使用正样本以避免偏离重构，并部署停止梯度策略以强制收敛。在五个公共数据集上的大量实验表明，与九个基线相比，DConAD具有优越性和有效性。

🔬 方法详解

问题定义：时间序列异常检测旨在识别与正常模式显著不同的数据点。现有方法在处理复杂、高维时间序列数据时，难以有效捕获数据中的长期依赖关系和细微异常模式。此外，许多方法依赖于高质量的先验知识，这在实际应用中往往难以获得，导致模型泛化能力下降。

核心思路：DConAD的核心思路是通过差分操作增强时间序列的信息，并利用对比学习来学习鲁棒的正常模式表示。差分操作可以突出时间序列的变化趋势，从而更容易捕捉到异常。对比学习则通过区分正常样本和增强后的正常样本，学习到对噪声和微小扰动不敏感的表示。

技术框架：DConAD框架主要包含三个模块：差分数据生成模块、基于Transformer的特征提取模块和基于KL散度的对比学习模块。首先，差分数据生成模块通过计算时间序列的差分来生成额外的输入信息。然后，基于Transformer的特征提取模块用于捕获时序数据的时空依赖关系，生成高质量的特征表示。最后，基于KL散度的对比学习模块利用正样本对进行对比学习，学习正常模式的鲁棒表示。

关键创新：DConAD的关键创新在于以下几点：1) 提出了一种基于差分的时序数据增强方法，能够有效突出异常模式；2) 采用基于KL散度的对比学习范式，仅使用正样本进行训练，避免了负样本选择带来的偏差；3) 使用停止梯度策略，强制模型收敛到期望的表示空间。

关键设计：DConAD使用Transformer作为特征提取器，Transformer的自注意力机制能够有效捕获时序数据的长期依赖关系。对比学习的损失函数基于KL散度，用于衡量原始数据表示和增强数据表示之间的差异。停止梯度策略应用于增强数据的表示，防止模型直接学习到增强数据的特征，从而迫使模型学习更鲁棒的正常模式表示。具体参数设置和网络结构细节可在论文原文和代码中找到。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DConAD在五个公共数据集上进行了广泛的实验，与九个基线方法进行了比较。实验结果表明，DConAD在所有数据集上都取得了最佳的性能，显著优于其他方法。例如，在某个数据集上，DConAD的F1-score比第二好的方法提高了5%以上，验证了DConAD的优越性和有效性。

🎯 应用场景

DConAD可应用于各种时间序列异常检测场景，如工业设备故障诊断、网络安全入侵检测、金融欺诈检测和医疗健康监测等。通过准确识别异常，可以及时发现潜在风险，避免重大损失，提高生产效率和安全性。该研究的成果有助于推动时间序列异常检测技术的发展，为相关领域的智能化应用提供有力支持。

📄 摘要（原文）

Time series anomaly detection holds notable importance for risk identification and fault detection across diverse application domains. Unsupervised learning methods have become popular because they have no requirement for labels. However, due to the challenges posed by the multiplicity of abnormal patterns, the sparsity of anomalies, and the growth of data scale and complexity, these methods often fail to capture robust and representative dependencies within the time series for identifying anomalies. To enhance the ability of models to capture normal patterns of time series and avoid the retrogression of modeling ability triggered by the dependencies on high-quality prior knowledge, we propose a differencing-based contrastive representation learning framework for time series anomaly detection (DConAD). Specifically, DConAD generates differential data to provide additional information about time series and utilizes transformer-based architecture to capture spatiotemporal dependencies, which enhances the robustness of unbiased representation learning ability. Furthermore, DConAD implements a novel KL divergence-based contrastive learning paradigm that only uses positive samples to avoid deviation from reconstruction and deploys the stop-gradient strategy to compel convergence. Extensive experiments on five public datasets show the superiority and effectiveness of DConAD compared with nine baselines. The code is available at https://github.com/shaieesss/DConAD.