STEP: Scientific Time-Series Encoder Pretraining via Cross-Domain Distillation

📄 arXiv: 2603.18688v1 📥 PDF

作者: Chen Zhang, Liwei Liu, Jun Tao, Xiaoyu Yang, Xuenan Xu, Kai Chen, Bowen Zhou, Wen Wu, Chao Zhang

分类: cs.LG, cs.CL

发布日期: 2026-03-19

💡 一句话要点

STEP：通过跨领域蒸馏预训练科学时间序列编码器，提升表征学习效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 科学时间序列 跨领域蒸馏 预训练 表征学习 Transformer 自适应Patching 统计补偿

📋 核心要点

  1. 科学时间序列数据稀疏、异构且规模小，难以进行有效的统一表征学习。
  2. STEP框架通过跨领域知识蒸馏，将音频、通用时间序列等领域预训练模型知识迁移到科学时间序列。
  3. 实验表明，STEP在多个科学时间序列任务上取得了显著提升，验证了其有效性和泛化能力。

📝 摘要（中文）

科学时间序列是科学人工智能的核心，但通常稀疏、高度异构且规模有限，这使得统一的表征学习极具挑战性。同时，在音频、通用时间序列和脑信号等相关时间序列领域预训练的基础模型包含丰富的知识，但它们在科学信号中的适用性仍未得到充分探索。本文研究了来自相关时间序列领域的基础模型的可迁移性和互补性，并研究如何有效地利用它们来构建科学时间序列的统一编码器。我们首先系统地评估了相关基础模型，展示了知识迁移到科学任务的有效性及其互补优势。基于此，我们提出了STEP，一个通过跨领域蒸馏的科学时间序列编码器预训练框架。STEP引入自适应patching来处理超长序列，并引入统计补偿方案来适应不同的数值尺度。它进一步利用跨领域蒸馏将来自多个基础模型的知识集成到一个统一的编码器中。通过结合不同领域的互补表示，STEP学习了为科学信号量身定制的通用且可迁移的特征。在七个科学时间序列任务上的实验表明，STEP提供了一种有效的结构和有效的预训练范式，朝着科学时间序列表征学习迈出了一步。

🔬 方法详解

问题定义：科学时间序列数据在科学AI中至关重要，但其固有的稀疏性、高度异构性以及有限的规模给统一表征学习带来了巨大挑战。现有的方法难以有效利用这些数据，并且缺乏对不同科学领域时间序列的泛化能力。此外，如何有效利用其他领域（如音频、通用时间序列）的预训练模型知识也是一个亟待解决的问题。

核心思路：STEP的核心思路是利用跨领域知识蒸馏，将来自不同时间序列领域（如音频、通用时间序列、脑信号）的预训练基础模型中的知识迁移到科学时间序列的编码器中。通过这种方式，可以克服科学时间序列数据稀疏和规模小的限制，并学习到更具泛化能力的表征。同时，STEP还考虑了科学时间序列的特殊性质，例如序列长度差异大和数值尺度多样，并设计了相应的自适应patching和统计补偿方案。

技术框架：STEP框架主要包含以下几个关键模块：1) 自适应Patching模块：用于处理不同长度的科学时间序列，将其分割成大小合适的patches。2) 统计补偿模块：用于处理不同数值尺度的科学时间序列，通过统计信息对数据进行归一化。3) 跨领域知识蒸馏模块：利用多个预训练的基础模型作为教师模型，将它们的知识蒸馏到一个统一的科学时间序列编码器（学生模型）中。4) 预训练和微调：首先在大量的科学时间序列数据上进行预训练，然后在具体的下游任务上进行微调。

关键创新：STEP的关键创新在于：1) 提出了一个跨领域知识蒸馏框架，能够有效地将来自不同时间序列领域的预训练模型知识迁移到科学时间序列。2) 针对科学时间序列的特殊性质，设计了自适应patching和统计补偿方案，提高了模型的鲁棒性和泛化能力。3) 通过结合多个领域的互补表示，学习了为科学信号量身定制的通用且可迁移的特征。

关键设计：在自适应patching中，根据序列长度动态调整patch的大小，以避免信息丢失。在统计补偿中，使用均值和方差对数据进行归一化，以消除数值尺度的影响。在跨领域知识蒸馏中，使用KL散度作为损失函数，以衡量学生模型和教师模型之间的分布差异。编码器采用Transformer结构，并使用AdamW优化器进行训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

STEP在七个科学时间序列任务上进行了实验，结果表明STEP显著优于现有的方法。例如，在某些任务上，STEP的性能提升超过10%。此外，实验还表明，STEP能够有效地利用来自不同领域的预训练模型知识，并且具有良好的泛化能力。消融实验验证了自适应patching和统计补偿方案的有效性。

🎯 应用场景

STEP框架具有广泛的应用前景，可以应用于各种科学领域的时间序列数据分析，例如气候科学、生物医学、地球物理学等。它可以帮助科学家更好地理解和预测各种科学现象，例如气候变化、疾病传播、地震预测等。此外，STEP还可以用于构建更智能的科学仪器和设备，例如自动化的数据分析系统和智能化的实验控制系统。

📄 摘要（原文）

Scientific time series are central to scientific AI but are typically sparse, highly heterogeneous, and limited in scale, making unified representation learning particularly challenging. Meanwhile, foundation models pretrained on relevant time series domains such as audio, general time series, and brain signals contain rich knowledge, but their applicability to scientific signals remains underexplored. In this paper, we investigate the transferability and complementarity of foundation models from relevant time series domains, and study how to effectively leverage them to build a unified encoder for scientific time series. We first systematically evaluate relevant foundation models, showing the effectiveness of knowledge transfer to scientific tasks and their complementary strengths. Based on this observation, we propose STEP, a Scientific Time Series Encoder Pretraining framework via cross domain distillation. STEP introduces adaptive patching to handle extreme-length sequences and a statistics compensation scheme to accommodate diverse numerical scales. It further leverages cross-domain distillation to integrate knowledge from multiple foundation models into a unified encoder. By combining complementary representations across different domains, STEP learns general-purpose and transferable features tailored for scientific signals. Experiments on seven scientific time series tasks demonstrate that STEP provides both an effective structure and an effective pretraining paradigm, taking a STEP toward scientific time series representation learning.