TIFO: Time-Invariant Frequency Operator for Stationarity-Aware Representation Learning in Time Series
作者: Xihao Piao, Zheng Chen, Lingwei Zhu, Yushun Dong, Yasuko Matsubara, Yasushi Sakurai
分类: cs.LG, cs.AI
发布日期: 2026-02-19
💡 一句话要点
提出时不变频率算子TIFO,解决非平稳时间序列预测中的分布偏移问题。
🎯 匹配领域: 支柱二:RL算法与架构 (RL & Architecture)
关键词: 时间序列预测 非平稳性 分布偏移 频域分析 时不变频率算子
📋 核心要点
- 现有时间序列预测方法难以捕捉样本间的时间演化结构,无法有效处理非平稳时间序列的分布偏移问题。
- 提出时不变频率算子(TIFO),通过学习频域的平稳感知权重,突出平稳分量,抑制非平稳分量,缓解分布偏移。
- 实验表明,TIFO在多个数据集上取得了显著的性能提升,例如在ETTm2数据集上平均MSE提升高达55.3%,并降低了计算成本。
📝 摘要(中文)
非平稳时间序列预测面临训练数据和测试数据分布不同的分布偏移问题。现有方法试图通过移除每个样本的低阶矩等方式来缓解这种依赖性,但未能捕捉样本间潜在的时间演化结构,也无法对复杂的时间结构进行建模。本文旨在通过考虑所有可能的时间结构,在频域中解决分布偏移问题。为此,我们提出了一种时不变频率算子(TIFO),它学习整个数据集上频域的平稳感知权重。该权重表示突出平稳频率分量,同时抑制非平稳频率分量,从而减轻时间序列中的分布偏移问题。为了证明该方法的合理性,我们展示了时间序列数据的傅里叶变换隐式地在频域中诱导特征分解。TIFO是一种即插即用的方法,可以无缝集成到各种预测模型中。实验表明,我们的方法在28个预测设置中获得了18个top-1和6个top-2的结果。值得注意的是,它在ETTm2数据集上的平均MSE提高了33.3%和55.3%。此外,与基线方法相比,TIFO降低了60%-70%的计算成本,证明了其在各种预测模型中的强大可扩展性。
🔬 方法详解
问题定义:论文旨在解决非平稳时间序列预测中由于训练数据和测试数据分布差异导致的分布偏移问题。现有方法,如移除低阶矩,无法有效捕捉时间序列的复杂时间结构和样本间的演化关系,导致预测性能下降。
核心思路:论文的核心思路是在频域中解决分布偏移问题。通过学习一个时不变的频率算子,该算子能够识别并突出时间序列中平稳的频率分量,同时抑制非平稳的频率分量。这样,模型可以更加关注那些在时间上保持稳定的特征,从而提高预测的准确性和鲁棒性。
技术框架:TIFO可以作为一个即插即用的模块集成到现有的时间序列预测模型中。其主要流程包括:1) 对时间序列数据进行傅里叶变换,将其转换到频域;2) 使用TIFO学习频域的平稳感知权重;3) 将学习到的权重应用于频域表示,突出平稳分量;4) 将处理后的频域表示输入到预测模型中进行预测。
关键创新:论文的关键创新在于提出了时不变频率算子(TIFO),它能够自适应地学习频域的平稳感知权重。与现有方法不同,TIFO考虑了整个数据集上的时间结构,能够更有效地识别和利用时间序列中的平稳信息。此外,论文还证明了傅里叶变换在频域中隐式地诱导了特征分解,为TIFO的设计提供了理论依据。
关键设计:TIFO的设计包括以下关键细节:1) 使用傅里叶变换将时间序列数据转换到频域;2) 设计一个可学习的权重矩阵,用于对频域分量进行加权;3) 使用损失函数来鼓励权重矩阵突出平稳分量,抑制非平稳分量;4) 将学习到的权重矩阵应用于频域表示,得到平稳性增强的频域特征。
🖼️ 关键图片
📊 实验亮点
实验结果表明,TIFO在多个时间序列预测数据集上取得了显著的性能提升。例如,在ETTm2数据集上,TIFO的平均MSE分别提高了33.3%和55.3%。此外,与基线方法相比,TIFO还降低了60%-70%的计算成本,展示了其良好的可扩展性。TIFO在28个预测设置中获得了18个top-1和6个top-2的结果,证明了其优越的性能。
🎯 应用场景
该研究成果可广泛应用于需要处理非平稳时间序列的预测任务中,例如金融市场预测、电力负荷预测、交通流量预测、气候变化分析等。通过提高预测的准确性和鲁棒性,可以为决策提供更可靠的依据,具有重要的实际应用价值和潜在的经济效益。
📄 摘要(原文)
Nonstationary time series forecasting suffers from the distribution shift issue due to the different distributions that produce the training and test data. Existing methods attempt to alleviate the dependence by, e.g., removing low-order moments from each individual sample. These solutions fail to capture the underlying time-evolving structure across samples and do not model the complex time structure. In this paper, we aim to address the distribution shift in the frequency space by considering all possible time structures. To this end, we propose a Time-Invariant Frequency Operator (TIFO), which learns stationarity-aware weights over the frequency spectrum across the entire dataset. The weight representation highlights stationary frequency components while suppressing non-stationary ones, thereby mitigating the distribution shift issue in time series. To justify our method, we show that the Fourier transform of time series data implicitly induces eigen-decomposition in the frequency space. TIFO is a plug-and-play approach that can be seamlessly integrated into various forecasting models. Experiments demonstrate our method achieves 18 top-1 and 6 top-2 results out of 28 forecasting settings. Notably, it yields 33.3% and 55.3% improvements in average MSE on the ETTm2 dataset. In addition, TIFO reduces computational costs by 60% -70% compared to baseline methods, demonstrating strong scalability across diverse forecasting models.