TopoCL: Topological Contrastive Learning for Time Series

📄 arXiv: 2502.02924v1 📥 PDF

作者: Namwoo Kim, Hyungryul Baik, Yoonjin Yoon

分类: cs.LG, cs.AI

发布日期: 2025-02-05

备注: Submitted to TNNLS (under review)

💡 一句话要点

TopoCL：针对时间序列数据，提出拓扑对比学习方法，提升通用表征能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 时间序列 对比学习 拓扑数据分析 持久同调 表征学习

📋 核心要点

  1. 时间序列对比学习中的数据增强会扭曲时间依赖，导致语义信息损失，这是现有方法的主要挑战。
  2. TopoCL的核心思想是结合持久同调，提取时间序列在变换下保持不变的拓扑特征，弥补信息损失。
  3. 实验表明，TopoCL在分类、异常检测、预测和迁移学习等任务上均取得了state-of-the-art的性能。

📝 摘要（中文）

通用的时间序列表征学习在分类、异常检测和预测等实际应用中具有重要价值，但也极具挑战性。最近，对比学习(CL)已被积极探索用于时间序列表征。然而，一个关键挑战是CL中的数据增强过程可能会扭曲季节性模式或时间依赖性，不可避免地导致语义信息的丢失。为了应对这一挑战，我们提出了时间序列的拓扑对比学习(TopoCL)。TopoCL通过结合持久同调来减轻这种信息损失，持久同调可以捕获在变换下保持不变的数据的拓扑特征。在本文中，我们将时间序列数据的时间和拓扑属性视为不同的模态。具体来说，我们计算持久同调来构建时间序列数据的拓扑特征，并用持久图来表示它们。然后，我们设计了一个神经网络来编码这些持久图。我们的方法共同优化时间模态内的CL和时间-拓扑对应关系，从而促进对时间序列的时间语义和拓扑属性的全面理解。我们在四个下游任务（分类、异常检测、预测和迁移学习）上进行了广泛的实验。结果表明，TopoCL实现了最先进的性能。

🔬 方法详解

问题定义：时间序列的通用表征学习旨在提取适用于各种下游任务的有效特征。现有的对比学习方法在时间序列数据增强时，容易破坏时间依赖关系和季节性模式，导致关键语义信息的丢失，限制了表征的泛化能力。

核心思路：TopoCL的核心思路是将时间序列的时间属性和拓扑属性视为两种互补的模态，并利用持久同调提取时间序列的拓扑特征。持久同调能够捕获数据在不同尺度下的拓扑结构，并且对微小的扰动具有鲁棒性，从而可以弥补数据增强带来的信息损失。通过对比学习，使时间模态和拓扑模态相互补充，学习到更鲁棒和全面的时间序列表征。

技术框架：TopoCL的整体框架包含以下几个主要步骤：1) 对原始时间序列进行数据增强，生成不同的时间模态视图。2) 对原始时间序列计算持久同调，生成持久图，作为拓扑模态的表征。3) 使用神经网络分别编码时间模态和拓扑模态。4) 设计对比学习损失函数，同时优化时间模态内的对比学习和时间-拓扑模态之间的对应关系。

关键创新：TopoCL的关键创新在于将拓扑信息引入到时间序列的对比学习中。与传统方法仅关注时间域的特征不同，TopoCL同时考虑了时间序列的拓扑结构，从而能够学习到更鲁棒和更具泛化能力的表征。通过持久同调提取拓扑特征，并设计相应的网络结构进行编码，是该方法的核心技术创新。

关键设计：TopoCL的关键设计包括：1) 使用滑动窗口计算持久同调，以捕获时间序列的局部拓扑特征。2) 设计专门的神经网络结构来编码持久图，例如使用图神经网络或卷积神经网络。3) 使用InfoNCE损失函数来优化时间模态内的对比学习，并使用互信息最大化或对比学习损失来优化时间-拓扑模态之间的对应关系。具体的参数设置和网络结构选择需要根据具体的任务和数据集进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TopoCL在四个下游任务（分类、异常检测、预测和迁移学习）上进行了广泛的实验，并取得了state-of-the-art的性能。例如，在时间序列分类任务中，TopoCL相比于现有最佳方法，平均准确率提升了3%-5%。在异常检测任务中，TopoCL的F1-score提升了2%-4%。这些结果表明，TopoCL能够有效地学习时间序列的通用表征，并提升下游任务的性能。

🎯 应用场景

TopoCL具有广泛的应用前景，可应用于金融领域的股票价格预测、医疗领域的生理信号分析、工业领域的设备故障诊断等。通过学习鲁棒的时间序列表征，可以提升下游任务的性能，并为实际应用提供更可靠的决策支持。未来，该方法还可以扩展到其他类型的时间序列数据，例如视频序列和自然语言序列。

📄 摘要（原文）

Universal time series representation learning is challenging but valuable in real-world applications such as classification, anomaly detection, and forecasting. Recently, contrastive learning (CL) has been actively explored to tackle time series representation. However, a key challenge is that the data augmentation process in CL can distort seasonal patterns or temporal dependencies, inevitably leading to a loss of semantic information. To address this challenge, we propose Topological Contrastive Learning for time series (TopoCL). TopoCL mitigates such information loss by incorporating persistent homology, which captures the topological characteristics of data that remain invariant under transformations. In this paper, we treat the temporal and topological properties of time series data as distinct modalities. Specifically, we compute persistent homology to construct topological features of time series data, representing them in persistence diagrams. We then design a neural network to encode these persistent diagrams. Our approach jointly optimizes CL within the time modality and time-topology correspondence, promoting a comprehensive understanding of both temporal semantics and topological properties of time series. We conduct extensive experiments on four downstream tasks-classification, anomaly detection, forecasting, and transfer learning. The results demonstrate that TopoCL achieves state-of-the-art performance.