TimeDRL: Disentangled Representation Learning for Multivariate Time-Series

📄 arXiv: 2312.04142v3 📥 PDF

作者: Ching Chang, Chiao-Tung Chan, Wei-Yao Wang, Wen-Chih Peng, Tien-Fu Chen

分类: cs.LG, cs.AI

发布日期: 2023-12-07 (更新: 2024-07-17)

备注: This paper has been accepted by the International Conference on Data Engineering (ICDE) 2024

🔗 代码/项目: GITHUB

💡 一句话要点

TimeDRL：提出解耦表征学习框架，提升多元时间序列预测与分类性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多元时间序列 表征学习 解耦表示 自监督学习 时间序列预测 时间序列分类

📋 核心要点

  1. 现有自监督学习方法在多元时间序列表征学习中，缺乏对解耦嵌入的学习，且存在归纳偏置问题。
  2. TimeDRL通过解耦时间戳级别和实例级别的嵌入，并设计时间戳预测和实例对比任务，实现解耦表征学习。
  3. 实验表明，TimeDRL在时间序列预测和分类任务上显著优于现有方法，且在半监督学习场景下表现良好。

📝 摘要（中文）

本文提出TimeDRL，一个通用的多元时间序列表征学习框架，它具有解耦的双层嵌入。TimeDRL的特点在于三个创新点：(i) 使用[CLS] token策略从patch后的时间序列数据中解耦地推导出时间戳级别和实例级别的嵌入；(ii) 利用时间戳预测任务和实例对比任务进行解耦表征学习，前者使用预测损失优化时间戳级别嵌入，后者使用对比损失优化实例级别嵌入；(iii) 避免使用数据增强方法，以消除归纳偏置，例如裁剪和掩码带来的变换不变性。在6个时间序列预测数据集和5个时间序列分类数据集上的综合实验表明，TimeDRL始终优于现有的表征学习方法，在预测方面平均改进了58.02%的MSE，在分类方面平均提高了1.48%的准确率。此外，广泛的消融研究证实了TimeDRL架构中每个组件的相对贡献，半监督学习评估证明了其在真实场景中的有效性，即使在有限的标记数据下也是如此。代码已开源。

🔬 方法详解

问题定义：多元时间序列数据广泛存在于医疗健康和工业等领域，但缺乏标签和高维度给分析带来了挑战。现有自监督学习方法虽然能学习到丰富的表征，但无法学习解耦的嵌入，并且存在由数据增强引入的归纳偏置问题，例如变换不变性。

核心思路：TimeDRL的核心思路是通过解耦时间戳级别和实例级别的嵌入，并分别设计相应的学习任务，从而学习到更具表达性和泛化性的时间序列表征。避免使用数据增强是为了消除由数据增强引入的归纳偏置，使模型能够学习到更真实的数据分布。

技术框架：TimeDRL的整体架构包含以下几个主要模块：1) 时间序列分块（Patching）：将时间序列数据分割成多个patch；2) 双层嵌入提取：使用[CLS] token策略，从patch后的数据中提取时间戳级别和实例级别的嵌入；3) 解耦表征学习：通过时间戳预测任务和实例对比任务，分别优化时间戳级别和实例级别的嵌入。

关键创新：TimeDRL的关键创新在于：1) 解耦的双层嵌入表示，能够更细粒度地捕捉时间序列数据的特征；2) 通过时间戳预测和实例对比任务进行解耦表征学习，避免了信息冗余；3) 避免使用数据增强，消除了由数据增强引入的归纳偏置。

关键设计：TimeDRL的关键设计包括：1) 使用[CLS] token策略提取时间戳级别和实例级别的嵌入；2) 时间戳预测任务使用预测损失（例如MSE）优化时间戳级别嵌入；3) 实例对比任务使用对比损失（例如InfoNCE）优化实例级别嵌入；4) 网络结构基于Transformer，能够有效捕捉时间序列数据的长期依赖关系。

📊 实验亮点

TimeDRL在6个时间序列预测数据集和5个时间序列分类数据集上进行了评估，结果表明，TimeDRL始终优于现有的表征学习方法。在预测方面，TimeDRL平均改进了58.02%的MSE；在分类方面，TimeDRL平均提高了1.48%的准确率。消融研究证实了TimeDRL架构中每个组件的贡献，半监督学习评估证明了其在有限标记数据下的有效性。

🎯 应用场景

TimeDRL可应用于各种需要处理多元时间序列数据的场景，例如医疗健康领域的疾病诊断、工业领域的设备故障预测、金融领域的股票价格预测等。通过学习高质量的时间序列表征，可以提升下游任务的性能，并为决策提供支持。未来，该方法可以进一步扩展到其他类型的时间序列数据，并与其他技术相结合，以解决更复杂的问题。

📄 摘要（原文）

Multivariate time-series data in numerous real-world applications (e.g., healthcare and industry) are informative but challenging due to the lack of labels and high dimensionality. Recent studies in self-supervised learning have shown their potential in learning rich representations without relying on labels, yet they fall short in learning disentangled embeddings and addressing issues of inductive bias (e.g., transformation-invariance). To tackle these challenges, we propose TimeDRL, a generic multivariate time-series representation learning framework with disentangled dual-level embeddings. TimeDRL is characterized by three novel features: (i) disentangled derivation of timestamp-level and instance-level embeddings from patched time-series data using a [CLS] token strategy; (ii) utilization of timestamp-predictive and instance-contrastive tasks for disentangled representation learning, with the former optimizing timestamp-level embeddings with predictive loss, and the latter optimizing instance-level embeddings with contrastive loss; and (iii) avoidance of augmentation methods to eliminate inductive biases, such as transformation-invariance from cropping and masking. Comprehensive experiments on 6 time-series forecasting datasets and 5 time-series classification datasets have shown that TimeDRL consistently surpasses existing representation learning approaches, achieving an average improvement of forecasting by 58.02% in MSE and classification by 1.48% in accuracy. Furthermore, extensive ablation studies confirmed the relative contribution of each component in TimeDRL's architecture, and semi-supervised learning evaluations demonstrated its effectiveness in real-world scenarios, even with limited labeled data. The code is available at https://github.com/blacksnail789521/TimeDRL.