Self-Supervised Learning via Flow-Guided Neural Operator on Time-Series Data
作者: Duy Nguyen, Jiachen Yao, Jiayun Wang, Julius Berner, Animashree Anandkumar
分类: cs.LG
发布日期: 2026-02-12
💡 一句话要点
提出Flow-Guided Neural Operator自监督学习框架，提升时间序列数据表征能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自监督学习 时间序列 算子学习 Flow Matching 生物医学信号处理
📋 核心要点
- 现有自监督学习方法依赖固定掩码比例，缺乏灵活性，限制了时间序列数据表征学习的性能。
- 提出Flow-Guided Neural Operator (FGNO) 框架，结合算子学习和flow matching，将数据损坏程度作为新的自由度。
- 在生物医学数据集上，FGNO显著优于现有方法，尤其在数据稀缺场景下，展现出强大的表征学习能力。
📝 摘要（中文）
本文提出了一种基于Flow-Guided Neural Operator (FGNO) 的自监督学习框架，用于时间序列数据的表征学习。与依赖固定掩码比例的传统方法不同，FGNO将数据损坏程度视为表征学习的一个自由度，从而增强了灵活性和性能。FGNO通过短时傅里叶变换统一不同的时间分辨率，学习函数空间中的映射。通过利用不同网络层和施加不同强度噪声的flow time，FGNO提取丰富的特征层次，从而可以使用单个模型提取从低级模式到高级全局特征的通用表征，并适应特定任务。与在推理期间使用噪声输入的生成式自监督学习方法不同，FGNO提出使用干净的输入进行表征提取，同时使用噪声学习表征，从而消除了随机性并提高了准确性。在三个生物医学领域进行的评估表明，FGNO始终优于已建立的基线。在神经信号解码（BrainTreeBank）中，AUROC增益高达35%；在皮肤温度预测（DREAMT）中，RMSE降低了16%；在低数据情况下，SleepEDF的准确率和宏F1提高了20%以上。这些结果突出了FGNO对数据稀缺的鲁棒性及其为各种时间序列学习表达性表征的卓越能力。
🔬 方法详解
问题定义：现有基于掩码自编码器（MAE）的自监督学习方法，在处理时间序列数据时，通常采用固定的掩码比例。这种静态的设计限制了模型学习不同抽象层次特征的能力，也无法充分利用数据本身蕴含的信息。因此，如何设计一种更灵活的自监督学习框架，以提升时间序列数据的表征学习能力，是本文要解决的核心问题。
核心思路：本文的核心思路是将数据损坏程度（corruption level）视为表征学习的一个新的自由度。通过控制噪声的强度，使模型能够学习到不同层次的特征，从而提升表征的通用性和适应性。FGNO框架通过结合算子学习和flow matching，实现了对函数空间映射的学习，从而能够处理不同时间分辨率的数据。
技术框架：FGNO框架主要包含以下几个关键模块：1) 短时傅里叶变换（STFT）：用于将时间序列数据转换到频域，从而统一不同时间分辨率的数据。2) Flow-Guided Neural Operator (FGNO) 模块：核心模块，用于学习函数空间中的映射关系，通过flow matching的方式，将噪声数据映射到干净数据。3) 特征提取模块：从FGNO的不同层和flow time中提取特征，形成一个丰富的特征层次。4) 表征提取模块：使用干净的输入数据，提取最终的表征向量。
关键创新：FGNO的关键创新在于：1) 将数据损坏程度作为表征学习的一个自由度，增强了模型的灵活性。2) 结合算子学习和flow matching，实现了对函数空间映射的学习。3) 在推理阶段使用干净的输入数据，避免了噪声带来的随机性，提高了准确率。
关键设计：FGNO的关键设计包括：1) 使用短时傅里叶变换来统一不同时间分辨率的数据。2) 通过控制flow time来调节噪声的强度。3) 从FGNO的不同层和flow time中提取特征，形成一个丰富的特征层次。4) 使用均方误差（MSE）作为flow matching的损失函数。
🖼️ 关键图片
📊 实验亮点
FGNO在三个生物医学数据集上取得了显著的性能提升。在BrainTreeBank神经信号解码任务中，AUROC增益高达35%。在DREAMT皮肤温度预测任务中，RMSE降低了16%。在SleepEDF睡眠阶段分类任务中，低数据情况下，准确率和宏F1提高了20%以上。这些结果表明，FGNO在数据稀缺场景下具有强大的表征学习能力。
🎯 应用场景
该研究成果可广泛应用于生物医学信号处理、金融时间序列分析、工业传感器数据分析等领域。例如，可用于脑电信号解码、皮肤温度预测、睡眠阶段分类等任务。该方法能够有效利用未标记数据，降低对人工标注数据的依赖，具有重要的实际应用价值和潜力。
📄 摘要（原文）
Self-supervised learning (SSL) is a powerful paradigm for learning from unlabeled time-series data. However, popular methods such as masked autoencoders (MAEs) rely on reconstructing inputs from a fixed, predetermined masking ratio. Instead of this static design, we propose treating the corruption level as a new degree of freedom for representation learning, enhancing flexibility and performance. To achieve this, we introduce the Flow-Guided Neural Operator (FGNO), a novel framework combining operator learning with flow matching for SSL training. FGNO learns mappings in functional spaces by using Short-Time Fourier Transform to unify different time resolutions. We extract a rich hierarchy of features by tapping into different network layers and flow times that apply varying strengths of noise to the input data. This enables the extraction of versatile representations, from low-level patterns to high-level global features, using a single model adaptable to specific tasks. Unlike prior generative SSL methods that use noisy inputs during inference, we propose using clean inputs for representation extraction while learning representations with noise; this eliminates randomness and boosts accuracy. We evaluate FGNO across three biomedical domains, where it consistently outperforms established baselines. Our method yields up to 35% AUROC gains in neural signal decoding (BrainTreeBank), 16% RMSE reductions in skin temperature prediction (DREAMT), and over 20% improvement in accuracy and macro-F1 on SleepEDF under low-data regimes. These results highlight FGNO's robustness to data scarcity and its superior capacity to learn expressive representations for diverse time series.