WinoTS: Wavelet-based Self-Distillation for Time Series Models

📄 arXiv: 2609.39337v1 📥 PDF

作者: Noam Major, Kathy Razmadze, Yoli Shavit

分类: cs.LG, cs.AI

发布日期: 2026-09-30

💡 一句话要点

提出WinoTS以解决时间序列模型自监督预训练问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列建模 自监督学习 小波变换 不变性自蒸馏 异常检测 跨域迁移

📋 核心要点

  1. 现有的自监督预训练方法在时间序列模型中主要依赖于下一个标记预测和重建目标，导致模型在高频噪声上浪费容量。
  2. WinoTS通过引入基于小波的不变性自蒸馏，利用时频增强构建多尺度结构视图，旨在有效学习时间序列信号的动态特征。
  3. 实验结果表明，WinoTS在长期预测、跨域零样本迁移和无监督异常检测等任务中表现优异，超越了现有的最先进基线。

📝 摘要（中文）

自监督预训练的时间序列模型目前主要依赖于下一个标记预测和重建目标。在连续值域中，这些方法往往浪费模型容量在高频噪声上，影响了对不变结构的学习。尽管基于不变性的自蒸馏在计算机视觉中已被证明有效，但在时间数据中的应用仍然较少。本文提出了基于小波的自蒸馏方法WinoTS，专为时间信号设计，利用时频增强构建多尺度结构视图而不扭曲信号动态。WinoTS在长期预测、跨域零样本迁移和无监督异常检测等任务中超越了现有的最先进基线，且在冻结的WinoTS表示上进行线性探测时，常常超过从头训练的完全监督模型。

🔬 方法详解

问题定义：本文旨在解决时间序列模型自监督预训练中，现有方法在高频噪声上浪费模型容量的问题，影响了对信号不变结构的学习。

核心思路：WinoTS的核心思路是通过小波变换实现时频增强，构建多尺度的结构视图，从而有效捕捉时间序列信号的动态特征，而不扭曲信号本身。

技术框架：WinoTS的整体架构包括数据预处理、时频增强、模型训练和评估四个主要模块。数据预处理阶段负责输入信号的准备，时频增强阶段通过小波变换生成多尺度视图，模型训练阶段则采用自蒸馏策略进行学习，最后在评估阶段对模型性能进行验证。

关键创新：WinoTS的主要创新在于将基于不变性的自蒸馏方法引入时间序列领域，利用时频变换替代传统的空间增强方法，从而更好地适应时间数据的特性。

关键设计：在WinoTS中，采用了特定的小波变换参数设置，以确保信号的动态特征得到保留，同时设计了适合时间序列的损失函数，确保模型在训练过程中能够有效学习到不变结构。具体的网络结构则保持灵活性，适用于多种时间序列模型。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在实验中，WinoTS在长期预测、跨域零样本迁移和无监督异常检测等任务中均超越了现有的最先进基线，表现出显著的性能提升。特别是在冻结的WinoTS表示上进行线性探测时，模型的表现常常超过从头训练的完全监督模型，显示出其强大的泛化能力。

🎯 应用场景

WinoTS的研究成果在多个领域具有广泛的应用潜力，包括金融市场预测、气象数据分析和工业设备监控等。通过有效的时间序列建模，WinoTS能够帮助企业和研究机构更好地理解和预测复杂的动态系统，提升决策能力和效率。

📄 摘要（原文）

Self-supervised pre-training of time series models is currently dominated by next-token prediction and reconstruction objectives. In continuous-valued domains, these paradigms often waste model capacity on high-frequency, point-wise noise at the expense of learning invariant structure. While invariance-based self-distillation has proven highly effective in computer vision, its application to temporal data remains largely underexplored. Effectively adapting such methods to time series requires carefully designed augmentations: spatial operations like cropping can shift the timing of repeating cycles or distort the signal, while basic jittering may provide limited variation. We introduce Wavelet-based self-distillation for time series (WinoTS), an invariance-based pre-training paradigm designed specifically for temporal signals. At its core, WinoTS leverages time-frequency augmentations to construct multi-scale structural views without distorting underlying signal dynamics. Across extensive evaluations, WinoTS outperforms state-of-the-art baselines in long-term forecasting, cross-domain zero-shot transfer, and unsupervised anomaly detection. Notably, linear probing on frozen WinoTS representations frequently surpasses fully supervised models trained from scratch. Systematic ablations demonstrate that WinoTS is a flexible, architecture-agnostic framework yielding gains across time series backbones, and establish that time-frequency transformations provide a principled alternative to vision-style spatial augmentations.