TSINR: Capturing Temporal Continuity via Implicit Neural Representations for Time Series Anomaly Detection

📄 arXiv: 2411.11641v3 📥 PDF

作者: Mengxuan Li, Ke Liu, Hongyang Chen, Jiajun Bu, Hongwei Wang, Haishuai Wang

分类: cs.LG, cs.AI

发布日期: 2024-11-18 (更新: 2025-05-15)

备注: Accepted by SIGKDD 2025

💡 一句话要点

提出TSINR，利用隐式神经表示捕捉时间连续性，用于时间序列异常检测。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列异常检测 隐式神经表示 Transformer 重构方法 谱偏置

📋 核心要点

  1. 现有基于重构的时间序列异常检测方法易受训练集中未标记异常点的影响，导致模型学习并重构异常数据。
  2. TSINR利用INR将时间序列数据表示为连续函数，并结合Transformer架构，从而捕捉时间连续性，对不连续的异常数据更敏感。
  3. TSINR通过设计新的INR函数学习通道间和通道内信息，并利用预训练大语言模型放大异常波动，实验表明其性能优于现有方法。

📝 摘要（中文）

本文提出了一种基于隐式神经表示(INR)重构的时间序列异常检测方法TSINR，旨在解决现有基于重构的方法在训练数据中存在未标记异常点时，学习并重构异常数据，从而难以捕捉正常模式的挑战。TSINR利用谱偏置特性，优先学习低频信号，对高频异常数据表现出较差的重构性能。具体而言，TSINR采用INR将时间序列数据参数化为连续函数，并使用基于Transformer的架构来预测给定数据的INR。此外，设计了一种新的INR连续函数形式来学习通道间和通道内信息，并利用预训练的大型语言模型来放大异常中的剧烈波动。大量实验表明，与其他最先进的基于重构的方法相比，TSINR在单变量和多变量时间序列异常检测基准测试中均实现了卓越的整体性能。

🔬 方法详解

问题定义：时间序列异常检测旨在识别数据中不寻常的模式或偏离系统预期行为的偏差。现有基于重构的方法主要通过无监督学习来学习逐点表示，但训练数据中未标记的异常点可能导致这些方法学习并重构异常数据，从而难以捕捉正常的模式。

核心思路：本文的核心思路是利用隐式神经表示（INR）将离散的时间序列数据表示为连续函数。由于INR具有谱偏置特性，它倾向于学习低频信号，而对高频异常数据表现出较差的重构能力。因此，通过重构误差可以有效地检测出异常。

技术框架：TSINR的整体框架包括以下几个主要步骤：1) 使用INR将离散的时间序列数据转换为连续函数表示；2) 使用基于Transformer的架构来预测给定数据的INR；3) 计算重构误差，并利用该误差来检测异常。此外，还设计了一种新的INR连续函数形式来学习通道间和通道内信息，并利用预训练的大型语言模型来放大异常中的剧烈波动。

关键创新：TSINR的关键创新在于：1) 将INR引入时间序列异常检测领域，利用其谱偏置特性来区分正常和异常数据；2) 设计了一种新的INR连续函数形式，能够有效地学习通道间和通道内信息；3) 利用预训练的大型语言模型来增强异常的波动，提高检测精度。与现有方法的本质区别在于，TSINR不是直接学习逐点表示，而是学习连续函数表示，从而更好地捕捉时间连续性。

关键设计：在INR函数的设计上，论文提出了一种新的形式，用于学习通道间和通道内信息。具体细节未知。Transformer架构的选择和配置也可能影响性能，具体细节未知。损失函数的设计目标是最小化重构误差，具体形式未知。预训练大语言模型的使用方式和参数设置也需要仔细调整，具体细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TSINR在单变量和多变量时间序列异常检测基准测试中均取得了优于其他最先进的基于重构的方法的性能。具体性能提升幅度未知，但论文强调了TSINR在整体性能上的优越性，证明了其有效性。

🎯 应用场景

TSINR可应用于各种时间序列异常检测场景，例如工业设备故障诊断、网络安全入侵检测、金融欺诈检测、医疗健康监测等。通过准确识别异常模式，可以帮助用户及时发现潜在风险，采取预防措施，提高系统可靠性和安全性，降低运营成本。

📄 摘要（原文）

Time series anomaly detection aims to identify unusual patterns in data or deviations from systems' expected behavior. The reconstruction-based methods are the mainstream in this task, which learn point-wise representation via unsupervised learning. However, the unlabeled anomaly points in training data may cause these reconstruction-based methods to learn and reconstruct anomalous data, resulting in the challenge of capturing normal patterns. In this paper, we propose a time series anomaly detection method based on implicit neural representation (INR) reconstruction, named TSINR, to address this challenge. Due to the property of spectral bias, TSINR enables prioritizing low-frequency signals and exhibiting poorer performance on high-frequency abnormal data. Specifically, we adopt INR to parameterize time series data as a continuous function and employ a transformer-based architecture to predict the INR of given data. As a result, the proposed TSINR method achieves the advantage of capturing the temporal continuity and thus is more sensitive to discontinuous anomaly data. In addition, we further design a novel form of INR continuous function to learn inter- and intra-channel information, and leverage a pre-trained large language model to amplify the intense fluctuations in anomalies. Extensive experiments demonstrate that TSINR achieves superior overall performance on both univariate and multivariate time series anomaly detection benchmarks compared to other state-of-the-art reconstruction-based methods. Our codes are available.