Soft Contrastive Learning for Time Series

📄 arXiv: 2312.16424v3 📥 PDF

作者: Seunghan Lee, Taeyoung Park, Kibok Lee

分类: cs.LG, cs.AI, stat.ML

发布日期: 2023-12-27 (更新: 2024-03-22)

备注: ICLR 2024 Spotlight

🔗 代码/项目: GITHUB

💡 一句话要点

提出SoftCLT，通过软对比学习提升时间序列表征质量。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列 对比学习 自监督学习 表征学习 软对比学习

📋 核心要点

  1. 现有对比学习方法在时间序列中对比相似实例或相邻时间戳，忽略了内在相关性，导致表征质量下降。
  2. SoftCLT通过引入软分配的实例级和时间对比损失，区分相似实例，保留时间序列的固有相关性。
  3. 实验表明，SoftCLT在分类、半监督学习、迁移学习和异常检测等任务中均取得了显著的性能提升，达到SOTA水平。

📝 摘要（中文）

对比学习已被证明在自监督时间序列表征学习中有效。然而，对比相似的时间序列实例或来自相邻时间戳的值，会忽略它们固有的相关性，从而降低学习到的表征质量。为了解决这个问题，我们提出SoftCLT，一种简单而有效的时间序列软对比学习策略。通过引入具有0到1软分配的实例级和时间对比损失来实现。具体来说，我们为1)实例级对比损失定义了基于数据空间中时间序列之间距离的软分配，以及2)为时间对比损失定义了基于时间戳差异的软分配。SoftCLT是一种即插即用的时间序列对比学习方法，它可以在没有额外技巧的情况下提高学习到的表征质量。在实验中，我们证明了SoftCLT在各种下游任务（包括分类、半监督学习、迁移学习和异常检测）中持续提高性能，表现出最先进的性能。代码可在https://github.com/seunghan96/softclt 获取。

🔬 方法详解

问题定义：现有时间序列对比学习方法在构建正负样本对时，通常将相似的实例或相邻时间戳的数据视为负样本，忽略了它们之间存在的内在关联性。这种做法会损害学习到的表征的质量，使其无法充分捕捉时间序列的动态特征。

核心思路：SoftCLT的核心思想是引入“软”对比学习，不再是简单的二元区分（正/负样本），而是根据实例之间的相似度或时间戳的接近程度，赋予不同的权重。相似度越高或时间戳越接近，则分配的权重越高，表示它们之间的对比损失应该相对减小。

技术框架：SoftCLT是一个即插即用的模块，可以嵌入到现有的时间序列对比学习框架中。它主要包含两个部分：实例级软对比损失和时间级软对比损失。实例级软对比损失基于数据空间中时间序列之间的距离来定义软分配权重；时间级软对比损失基于时间戳的差异来定义软分配权重。整体流程是：首先，利用编码器提取时间序列的表征；然后，计算实例级和时间级的软分配权重；最后，结合软分配权重计算对比损失，并更新编码器参数。

关键创新：SoftCLT的关键创新在于引入了软分配机制，使得对比学习过程更加精细化。它不再是简单地将相似实例或相邻时间戳的数据视为负样本，而是根据它们之间的相似度或时间接近程度，动态地调整对比损失的权重。这种做法能够更好地保留时间序列的内在相关性，从而提高学习到的表征的质量。

关键设计：SoftCLT的关键设计包括：1) 实例级软分配权重的计算方式，可以使用各种距离度量方法，如欧氏距离、余弦相似度等；2) 时间级软分配权重的计算方式，可以使用时间戳差异的函数，如高斯函数等；3) 损失函数的选择，可以使用InfoNCE损失或其他对比学习损失函数，并结合软分配权重进行调整。

📊 实验亮点

实验结果表明，SoftCLT在多个时间序列下游任务中均取得了显著的性能提升。例如，在分类任务中，SoftCLT相比于基线方法提升了X%；在半监督学习任务中，SoftCLT在仅有少量标注数据的情况下，仍然能够达到较高的精度。此外，SoftCLT在迁移学习和异常检测任务中也表现出优异的性能，证明了其具有良好的泛化能力。

🎯 应用场景

SoftCLT可广泛应用于各种时间序列分析任务，如金融时间序列预测、医疗健康监测、工业设备故障诊断、交通流量预测等。通过提升时间序列表征的质量，SoftCLT能够提高这些任务的性能，并为实际应用带来更大的价值。未来，SoftCLT可以进一步扩展到多模态时间序列分析、长程时间序列建模等领域。

📄 摘要（原文）

Contrastive learning has shown to be effective to learn representations from time series in a self-supervised way. However, contrasting similar time series instances or values from adjacent timestamps within a time series leads to ignore their inherent correlations, which results in deteriorating the quality of learned representations. To address this issue, we propose SoftCLT, a simple yet effective soft contrastive learning strategy for time series. This is achieved by introducing instance-wise and temporal contrastive loss with soft assignments ranging from zero to one. Specifically, we define soft assignments for 1) instance-wise contrastive loss by the distance between time series on the data space, and 2) temporal contrastive loss by the difference of timestamps. SoftCLT is a plug-and-play method for time series contrastive learning that improves the quality of learned representations without bells and whistles. In experiments, we demonstrate that SoftCLT consistently improves the performance in various downstream tasks including classification, semi-supervised learning, transfer learning, and anomaly detection, showing state-of-the-art performance. Code is available at this repository: https://github.com/seunghan96/softclt.