Neural Fourier Modelling: A Highly Compact Approach to Time-Series Analysis
作者: Minjung Kim, Yusuke Hioka, Michael Witbrock
分类: cs.LG, stat.ML
发布日期: 2024-10-07
备注: Submitted to conference (currently under review)
💡 一句话要点
提出神经傅里叶建模（NFM），用于紧凑高效的时间序列分析。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 时间序列分析 傅里叶变换 频率域建模 神经模型 异常检测
📋 核心要点
- 传统时间序列分析侧重于时域建模，常将傅里叶域表示作为辅助特征，忽略了频域的潜力。
- NFM直接在傅里叶域建模，将时间序列视为傅里叶域中的函数，利用频率外推和插值作为核心学习机制。
- NFM通过可学习频率令牌（LFT）和隐式神经傅里叶滤波器（INFF）实现紧凑而富有表现力的建模，并在多种任务上取得SOTA性能。
📝 摘要（中文）
本文提出了一种新的时间序列分析方法，称为神经傅里叶建模（NFM）。与传统的时间域建模方法不同，NFM直接在傅里叶域中对时间序列数据进行建模。NFM基于傅里叶变换的两个关键特性：一是将有限长度的时间序列视为傅里叶域中的函数，二是在傅里叶域中进行数据操作（如重采样和时间跨度扩展）的能力。NFM将傅里叶域中的数据操作重新解释为频率外推和插值，并将其作为核心学习机制。为了支持灵活的频率扩展和有效的频率表示调制，提出了可学习频率令牌（LFT）和隐式神经傅里叶滤波器（INFF）两个学习模块。实验表明，NFM在各种任务（预测、异常检测和分类）上都取得了最先进的性能，尤其是在具有先前未见过的采样率的时间序列场景中。此外，NFM非常紧凑，在每个任务中只需要不到40K的参数，时间序列长度范围从100到16K。
🔬 方法详解
问题定义：传统时间序列分析方法主要集中在时域，或者将频域信息作为辅助特征。这些方法可能无法充分利用频域的优势，并且在处理具有不同采样率或需要进行时间跨度扩展的时间序列时面临挑战。现有方法通常参数量较大，计算复杂度高，难以在资源受限的环境中部署。
核心思路：NFM的核心思路是将时间序列数据直接在傅里叶域中进行建模，利用傅里叶变换的性质，将时间序列视为傅里叶域中的函数。通过在傅里叶域中进行频率外推和插值，可以实现对时间序列的重采样和时间跨度扩展。这种方法可以更有效地利用频域信息，并且可以实现更紧凑的模型表示。
技术框架：NFM的整体框架包括以下几个主要模块：1) 输入时间序列的傅里叶变换；2) 可学习频率令牌（LFT）模块，用于学习频率表示；3) 隐式神经傅里叶滤波器（INFF）模块，用于调制频率表示；4) 频率外推和插值模块，用于实现重采样和时间跨度扩展；5) 傅里叶逆变换，将频率域表示转换回时域。整个流程在傅里叶域中进行，避免了复杂的时域建模。
关键创新：NFM的关键创新在于：1) 直接在傅里叶域中建模时间序列数据；2) 将频率外推和插值作为核心学习机制；3) 提出了可学习频率令牌（LFT）和隐式神经傅里叶滤波器（INFF）两个模块，用于实现紧凑而富有表现力的频率表示。与现有方法相比，NFM更加紧凑、高效，并且能够更好地处理具有不同采样率的时间序列。
关键设计：LFT模块使用可学习的参数来表示不同的频率分量，从而实现对频率表示的灵活控制。INFF模块使用隐式神经表示来学习频率滤波器，从而实现对频率表示的调制。频率外推和插值模块使用线性插值或更复杂的插值方法来生成新的频率分量。损失函数根据具体的任务进行设计，例如，对于预测任务，可以使用均方误差损失函数；对于异常检测任务，可以使用重构误差损失函数。
🖼️ 关键图片
📊 实验亮点
实验结果表明，NFM在时间序列预测、异常检测和分类等任务上均取得了state-of-the-art的性能。尤其是在处理具有先前未见过的采样率的时间序列时，NFM的性能明显优于其他方法。此外，NFM的模型尺寸非常小，参数量小于40K，这使得它非常适合在资源受限的环境中部署。
🎯 应用场景
NFM可应用于各种时间序列分析任务，如金融市场预测、工业设备故障诊断、医疗健康监测、气候变化分析等。其紧凑的模型尺寸使其特别适用于资源受限的边缘设备或移动设备。未来，NFM可以扩展到处理多变量时间序列数据，并与其他深度学习技术相结合，以进一步提高性能。
📄 摘要（原文）
Neural time-series analysis has traditionally focused on modeling data in the time domain, often with some approaches incorporating equivalent Fourier domain representations as auxiliary spectral features. In this work, we shift the main focus to frequency representations, modeling time-series data fully and directly in the Fourier domain. We introduce Neural Fourier Modelling (NFM), a compact yet powerful solution for time-series analysis. NFM is grounded in two key properties of the Fourier transform (FT): (i) the ability to model finite-length time series as functions in the Fourier domain, treating them as continuous-time elements in function space, and (ii) the capacity for data manipulation (such as resampling and timespan extension) within the Fourier domain. We reinterpret Fourier-domain data manipulation as frequency extrapolation and interpolation, incorporating this as a core learning mechanism in NFM, applicable across various tasks. To support flexible frequency extension with spectral priors and effective modulation of frequency representations, we propose two learning modules: Learnable Frequency Tokens (LFT) and Implicit Neural Fourier Filters (INFF). These modules enable compact and expressive modeling in the Fourier domain. Extensive experiments demonstrate that NFM achieves state-of-the-art performance on a wide range of tasks (forecasting, anomaly detection, and classification), including challenging time-series scenarios with previously unseen sampling rates at test time. Moreover, NFM is highly compact, requiring fewer than 40K parameters in each task, with time-series lengths ranging from 100 to 16K.