Semi-Supervised End-To-End Contrastive Learning For Time Series Classification

📄 arXiv: 2310.08848v2 📥 PDF

作者: Huili Cai, Xiang Zhang, Xiaofeng Liu

分类: cs.LG

发布日期: 2023-10-13 (更新: 2025-03-21)

备注: Submitted to NeurIPS 2023

💡 一句话要点

提出SLOTS以解决时间序列分类中的半监督学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 时间序列分类 半监督学习 对比学习 深度学习 嵌入表示

📋 核心要点

  1. 现有的两阶段对比学习方法在时间序列分类中存在无法直接影响下游分类器的缺陷，且未能充分利用真实标签信息。
  2. 本文提出的SLOTS模型通过端到端的方式，结合无监督和监督对比损失，优化编码器和分类器，提高了分类性能。
  3. 实验结果显示，SLOTS在五个数据集上的表现显著优于传统两阶段框架，展示了其高效性和实用性。

📝 摘要（中文）

时间序列分类在金融、医疗和传感器数据分析等多个领域具有重要意义。无监督对比学习在有限标签的时间序列数据中学习有效表示引起了广泛关注。现有对比学习方法通常采用两阶段流程，先在无标签数据集上预训练编码器，再在小规模标签数据集上微调模型。然而，这种方法存在一些缺陷，如无监督预训练对比损失无法直接影响下游微调分类器，以及未能充分利用有价值的真实标签指导的分类损失。本文提出了一种名为SLOTS（半监督时间分类学习）的端到端模型，能够处理包含大量无标签样本和少量标签样本的半标记数据集，计算无监督和监督对比损失，并将学习到的嵌入输入分类器进行优化。实验结果表明，SLOTS在多个数据集上优于十种最先进的方法，展示了其简单而有效的框架。

🔬 方法详解

问题定义：本文旨在解决时间序列分类中的半监督学习问题，现有方法的痛点在于两阶段流程无法有效利用标签信息，导致性能受限。

核心思路：SLOTS模型通过端到端的方式，结合无监督对比损失和监督对比损失，直接优化编码器与分类器，从而提升分类效果。

技术框架：SLOTS接收半标记数据集，通过编码器将样本映射到嵌入空间，计算无监督和监督对比损失，并将学习到的嵌入输入分类器进行优化。

关键创新：SLOTS的创新在于将无监督和监督对比损失结合在一起，形成一个统一的优化框架，与传统的两阶段方法相比，能够更有效地利用标签信息。

关键设计：模型设计中，损失函数包括无监督对比损失、监督对比损失和分类损失，确保编码器和分类器的共同优化，具体参数设置和网络结构在论文中详细描述。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在五个数据集上的实验结果表明，SLOTS在分类性能上显著优于十种最先进的方法，尤其在处理无标签样本时，性能提升幅度达到20%以上，展示了其高效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括金融市场分析、医疗监测和工业传感器数据处理等。通过提高时间序列分类的准确性，SLOTS能够为实时决策提供更可靠的支持，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Time series classification is a critical task in various domains, such as finance, healthcare, and sensor data analysis. Unsupervised contrastive learning has garnered significant interest in learning effective representations from time series data with limited labels. The prevalent approach in existing contrastive learning methods consists of two separate stages: pre-training the encoder on unlabeled datasets and fine-tuning the well-trained model on a small-scale labeled dataset. However, such two-stage approaches suffer from several shortcomings, such as the inability of unsupervised pre-training contrastive loss to directly affect downstream fine-tuning classifiers, and the lack of exploiting the classification loss which is guided by valuable ground truth. In this paper, we propose an end-to-end model called SLOTS (Semi-supervised Learning fOr Time clasSification). SLOTS receives semi-labeled datasets, comprising a large number of unlabeled samples and a small proportion of labeled samples, and maps them to an embedding space through an encoder. We calculate not only the unsupervised contrastive loss but also measure the supervised contrastive loss on the samples with ground truth. The learned embeddings are fed into a classifier, and the classification loss is calculated using the available true labels. The unsupervised, supervised contrastive losses and classification loss are jointly used to optimize the encoder and classifier. We evaluate SLOTS by comparing it with ten state-of-the-art methods across five datasets. The results demonstrate that SLOTS is a simple yet effective framework. When compared to the two-stage framework, our end-to-end SLOTS utilizes the same input data, consumes a similar computational cost, but delivers significantly improved performance. We release code and datasets at https://anonymous.4open.science/r/SLOTS-242E.