ADAPTive Input Training for Many-to-One Pre-Training on Time-Series Classification

📄 arXiv: 2604.08398v1 📥 PDF

作者: Paul Quinlan, Qingguo Li, Xiaodan Zhu

分类: cs.LG, cs.AI

发布日期: 2026-04-09

💡 一句话要点

ADAPT：面向时序分类的多对一预训练，解决输入差异性难题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时序分类 预训练 自监督学习 多数据集学习 特征对齐

📋 核心要点

  1. 现有自监督时序模型在单数据集预训练、单数据集微调的场景表现良好，但在多数据集预训练时泛化能力下降。
  2. ADAPT通过对齐时序数据的物理属性，实现了混合批次的预训练，从而能够有效利用多种不同数据集。
  3. 实验结果表明，ADAPT在162个时序分类数据集上训练后，在分类基准测试中取得了当前最佳性能。

📝 摘要（中文）

本文提出了一种新的时序数据预训练范式ADAPT，旨在解决现有方法在多数据集预训练时泛化能力不足的问题。ADAPT能够有效对齐时序数据中的物理属性，从而支持混合批次的预训练，即使预训练数据在输入大小和通道维度上存在巨大差异。该方法在162个时序分类数据集上进行了训练，并在分类基准测试中取得了新的state-of-the-art性能。ADAPT成功地在各种数据集上同时训练了一个时序领域的模型，为构建时序领域中的通用基础模型奠定了基础。

🔬 方法详解

问题定义：现有的时序模型预训练方法在“一对多”的场景下表现良好，即在一个数据集上进行预训练，然后在下游数据集上进行微调。然而，当预训练阶段加入更多数据集时，这些方法难以泛化到新的数据集。这是构建时序数据基础模型的一个根本挑战，因为它限制了模型从大量多样化数据集中学习的能力。现有方法难以处理不同数据集在输入大小和通道维度上的巨大差异，导致混合批次训练效果不佳。

核心思路：ADAPT的核心思路是通过对齐不同时序数据的物理属性，使得模型能够更好地理解和处理来自不同数据集的数据。通过这种对齐，ADAPT能够有效地进行混合批次的预训练，从而利用多个数据集的优势，提高模型的泛化能力。这种方法避免了对输入数据进行强制的统一大小调整，保留了原始数据的物理意义。

技术框架：ADAPT的整体框架包括数据预处理、特征对齐和模型训练三个主要阶段。在数据预处理阶段，对不同数据集的时序数据进行清洗和标准化。在特征对齐阶段，ADAPT使用特定的技术来对齐不同数据集的物理属性，例如时间尺度、幅度范围等。在模型训练阶段，使用混合批次的数据进行预训练，并采用适当的损失函数来优化模型。

关键创新：ADAPT最重要的技术创新在于其自适应的输入训练方法，能够有效地对齐不同时序数据的物理属性。这种方法允许模型在混合批次中同时处理来自不同数据集的数据，从而提高了模型的泛化能力。与现有方法相比，ADAPT不需要对输入数据进行强制的统一大小调整，保留了原始数据的物理意义，从而更好地捕捉时序数据的内在特征。

关键设计：ADAPT的关键设计包括：(1) 使用特定的特征对齐模块，例如基于傅里叶变换的频率域对齐或基于动态时间规整的时间域对齐；(2) 设计合适的损失函数，例如对比损失或三元组损失，以鼓励模型学习到具有区分性的特征表示；(3) 采用自适应的学习率调整策略，以适应不同数据集的训练难度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ADAPT在162个时序分类数据集上进行了训练，并在分类基准测试中取得了新的state-of-the-art性能。实验结果表明，ADAPT能够有效地利用多个数据集的优势，提高模型的泛化能力。与现有方法相比，ADAPT在多个数据集上取得了显著的性能提升，证明了其有效性和优越性。

🎯 应用场景

ADAPT可应用于各种时序数据分析任务，例如医疗健康监测、金融风险预测、工业设备故障诊断等。通过利用大量不同来源的时序数据进行预训练，ADAPT能够提高模型在特定任务上的性能和泛化能力，降低对标注数据的依赖，加速模型开发和部署。

📄 摘要（原文）

Recent work on time-series models has leveraged self-supervised training to learn meaningful features and patterns in order to improve performance on downstream tasks and generalize to unseen modalities. While these pretraining methods have shown great promise in one-to-many scenarios, where a model is pre-trained on one dataset and fine-tuned on a downstream dataset, they have struggled to generalize to new datasets when more datasets are added during pre-training. This is a fundamental challenge in building foundation models for time-series data, as it limits the ability to develop models that can learn from a large variety of diverse datasets available. To address this challenge, we present a new pre-training paradigm for time-series data called ADAPT, which can efficiently align the physical properties of data in the time-series domain, enabling mixed-batch pre-training despite the extreme discrepancies in the input sizes and channel dimensions of pre-training data. We trained on 162 time-series classification datasets and set new state-of-the-art performance for classification benchmarks. We successfully train a model within the time-series domain on a wide range of datasets simultaneously, which is a major building block for building generalist foundation models in time-series domains.