ITGPT: Generative Pretraining on Irregular Timeseries

📄 arXiv: 2605.16069v1 📥 PDF

作者: Antoine Honoré, Ming Xiao

分类: cs.LG

发布日期: 2026-05-15

备注: 9 pages

💡 一句话要点

ITGPT：用于不规则时间序列的生成式预训练模型，无需重采样或插补。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列 生成式预训练 自监督学习 Transformer 不规则采样 多模态数据 医疗健康 预测性维护

📋 核心要点

  1. 现有时间序列模型难以处理不规则采样和缺失值，限制了多模态数据的有效利用。
  2. ITGPT采用基于注意力机制的架构，通过自监督学习和生成式预训练处理不规则时间序列。
  3. 实验表明，ITGPT在医疗和预测性维护任务上达到SOTA，且能有效利用未标注数据。

📝 摘要（中文）

时间序列回归模型通常难以利用大量带标签的多模态数据，尤其是在数据不规则采样或包含缺失值时。这在医疗保健和预测性维护等领域很常见，这些领域的数据来自不可靠的来源，并且标签需要专家知识或昂贵的设备。基于Transformer的大型语言模型已通过自监督学习（SSL）和生成式预训练（GPT）框架在文本等结构化数据上证明有效。然而，此类模型缺乏有效处理不规则采样多模态时间序列数据的灵活性。在本文中，我们介绍了一种基于注意力机制的架构ITGPT，旨在通过允许使用SSL损失和类似GPT的目标进行训练来处理多模态、不规则采样的时间序列。我们在TIHM数据集的医疗保健任务和CompX数据集的预测性维护任务上评估了其性能。我们的结果表明，ITGPT在不需要重采样、特征融合或显式数据插补的情况下实现了最先进的性能。此外，当标签稀缺时，ITGPT通过SSL和GPT训练有效地利用未标记的数据，优于纯监督方法。这代表着朝着有效利用大型非结构化时间序列数据集进行实际推理任务迈出的重要一步。

🔬 方法详解

问题定义：论文旨在解决时间序列回归模型在处理不规则采样、多模态数据时，难以有效利用大量标注数据的问题。现有方法通常需要重采样、特征融合或数据插补等预处理步骤，增加了复杂性并可能引入误差。

核心思路：论文的核心思路是借鉴自然语言处理中GPT模型的成功经验，设计一种能够直接处理不规则时间序列数据的生成式预训练模型。通过自监督学习和生成式预训练，模型可以学习到时间序列数据的内在结构和模式，从而提高回归任务的性能。

技术框架：ITGPT的整体架构基于Transformer模型，但针对不规则时间序列数据进行了改进。主要包括以下几个模块：输入嵌入层（处理不同模态的数据）、注意力机制层（捕捉时间序列中的依赖关系）、输出层（进行回归预测）。模型训练采用自监督学习和生成式预训练相结合的方式。

关键创新：ITGPT的关键创新在于其能够直接处理不规则采样的时间序列数据，无需进行重采样或插补等预处理。这得益于其特殊的注意力机制设计，能够有效地处理时间间隔不一致的数据。此外，ITGPT还采用了自监督学习和生成式预训练相结合的训练方式，能够有效地利用未标注数据。

关键设计：ITGPT的关键设计包括：1）针对不规则时间间隔的注意力机制，允许模型关注不同时间点的信息；2）自监督学习目标，例如时间序列的重构或预测；3）生成式预训练目标，例如基于上下文预测未来时间点的值。具体的参数设置和网络结构细节在论文中有详细描述。

📊 实验亮点

ITGPT在TIHM医疗数据集和CompX预测性维护数据集上取得了SOTA性能，无需重采样、特征融合或显式数据插补。在标签稀缺的情况下，ITGPT通过SSL和GPT训练，有效利用了未标记数据，显著优于纯监督方法，表明其在实际应用中的潜力。

🎯 应用场景

ITGPT在医疗健康、预测性维护等领域具有广泛的应用前景。例如，可以用于预测患者的病情发展、诊断疾病、预测设备故障等。通过有效利用大量的非结构化时间序列数据，ITGPT可以提高预测精度，降低成本，并为决策提供支持。未来，该模型还可以应用于金融、交通等其他领域。

📄 摘要（原文）

Timeseries regression models often struggle to leverage large volumes of labeled multimodal data, particularly when the data are irregularly sampled or contain missing values. This is common in domains like healthcare and predictive maintenance, where data are collected from unreliable sources, and labeling requires expert knowledge or costly equipments. Transformer-based large language models have proven effective on structured data such as text through self-supervised learning (SSL) and generative pretraining (GPT) frameworks. However, such models lack the flexibility to efficiently process irregularly sampled multimodal timeseries data. In this paper, we introduce ITGPT, an attention-based architecture designed for handling multimodal, irregularly sampled timeseries by allowing training with both SSL losses and GPT-like objectives. We evaluate its performance on a healthcare task with the TIHM dataset, and a predictive maintenance task with the CompX dataset. Our results demonstrate that ITGPT achieves state-of-the-art performance without requiring resampling, feature fusion or explicit data imputation. Furthermore, when labels are scarce, ITGPT effectively leverages unlabeled data through SSL and GPT training, outperforming the purely supervised approach. This represents an important step towards efficiently using large and unstructured timeseries datasets for practical inference tasks.