Denoising-Aware Contrastive Learning for Noisy Time Series

📄 arXiv: 2406.04627v1 📥 PDF

作者: Shuang Zhou, Daochen Zha, Xiao Shen, Xiao Huang, Rui Zhang, Fu-Lai Chung

分类: cs.LG, cs.AI

发布日期: 2024-06-07

备注: Accepted to 33rd International Joint Conference on Artificial Intelligence (IJCAI 2024)

💡 一句话要点

提出Denoising-Aware对比学习(DECL)以提升含噪时间序列自监督学习性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 时间序列 自监督学习 对比学习 噪声抑制 表示学习

📋 核心要点

  1. 现有时间序列自监督学习方法易受噪声干扰，预处理去噪方法难以自动选择合适策略且可能放大潜在空间噪声。
  2. 提出Denoising-Aware对比学习(DECL)，通过对比学习目标减轻噪声影响，并自动为每个样本选择合适的去噪方法。
  3. 在多个数据集上的实验验证了DECL的有效性，表明其能够提升含噪时间序列的自监督学习性能。

📝 摘要（中文）

时间序列自监督学习(SSL)旨在利用无标签数据进行预训练，以减少对标签的依赖。尽管近年来取得了巨大成功，但对时间序列中潜在噪声的讨论有限，这些噪声会严重损害现有SSL方法的性能。为了减轻噪声的影响，通常的做法是在模型训练前应用传统的去噪方法。然而，这种预处理方法可能无法完全消除噪声在SSL中的影响，原因有二：(i)时间序列中噪声的类型多种多样，难以自动确定合适的去噪方法；(ii)原始数据映射到潜在空间后，噪声可能会被放大。在本文中，我们提出了去噪感知对比学习(DECL)，它使用对比学习目标来减轻表示中的噪声，并自动为每个样本选择合适的去噪方法。在各种数据集上的大量实验验证了我们方法的有效性。代码已开源。

🔬 方法详解

问题定义：现有时间序列自监督学习方法在处理含噪数据时性能显著下降。传统的预处理去噪方法存在两个主要痛点：一是时间序列噪声类型繁多，难以自动选择最佳去噪策略；二是将原始数据映射到潜在空间后，噪声可能会被放大，导致学习到的表示质量不高。

核心思路：DECL的核心思路是利用对比学习框架，同时学习鲁棒的表示和自动选择合适的去噪方法。通过对比学习，模型能够区分相似和不相似的样本，从而学习到对噪声不敏感的表示。此外，模型还学习一个选择器，根据样本的特性自动选择合适的去噪方法，从而进一步降低噪声的影响。

技术框架：DECL的整体框架包含三个主要模块：编码器、去噪模块和对比学习模块。编码器将原始时间序列数据映射到潜在空间。去噪模块包含多个不同的去噪方法，例如小波去噪、移动平均等。对比学习模块使用对比损失函数来训练编码器和去噪模块，使得相似样本的表示更加接近，不相似样本的表示更加远离。

关键创新：DECL的关键创新在于将去噪过程融入到对比学习框架中，实现了端到端的噪声抑制和表示学习。与传统的先去噪后训练的方法不同，DECL能够根据样本的特性自适应地选择合适的去噪方法，并且能够在潜在空间中减轻噪声的影响。

关键设计：DECL的关键设计包括：(1)使用多种不同的去噪方法，以适应不同类型的噪声；(2)设计一个选择器网络，根据样本的特性自动选择合适的去噪方法；(3)使用对比损失函数，鼓励模型学习对噪声不敏感的表示；(4)使用动量编码器来稳定训练过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在多个真实数据集上进行了实验，结果表明DECL显著优于现有的自监督学习方法。例如，在某些数据集上，DECL的性能提升超过10%。实验还验证了DECL能够有效地选择合适的去噪方法，并且能够学习到对噪声不敏感的鲁棒表示。

🎯 应用场景

DECL可应用于各种含噪时间序列数据的自监督学习任务，例如医疗健康领域的生理信号分析、金融领域的股票价格预测、工业领域的设备故障诊断等。通过提升模型在噪声环境下的鲁棒性，可以提高这些应用场景的性能和可靠性，降低对人工标注数据的依赖。

📄 摘要（原文）

Time series self-supervised learning (SSL) aims to exploit unlabeled data for pre-training to mitigate the reliance on labels. Despite the great success in recent years, there is limited discussion on the potential noise in the time series, which can severely impair the performance of existing SSL methods. To mitigate the noise, the de facto strategy is to apply conventional denoising methods before model training. However, this pre-processing approach may not fully eliminate the effect of noise in SSL for two reasons: (i) the diverse types of noise in time series make it difficult to automatically determine suitable denoising methods; (ii) noise can be amplified after mapping raw data into latent space. In this paper, we propose denoising-aware contrastive learning (DECL), which uses contrastive learning objectives to mitigate the noise in the representation and automatically selects suitable denoising methods for every sample. Extensive experiments on various datasets verify the effectiveness of our method. The code is open-sourced.