Calibrated Unsupervised Anomaly Detection in Multivariate Time-series using Reinforcement Learning

📄 arXiv: 2502.03245v2 📥 PDF

作者: Saba Sanami, Amir G. Aghdam

分类: cs.LG, eess.SP, eess.SY

发布日期: 2025-02-05 (更新: 2025-02-10)

备注: This paper has been accepted for publication and presentation at the 2025 IEEE International systems Conference (SysCon)

💡 一句话要点

提出基于强化学习的校准无监督异常检测方法，用于多元时间序列分析。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 无监督学习 异常检测 强化学习 时间序列 小波分析

📋 核心要点

  1. 现有无监督异常检测方法在时间序列数据中面临异常样本稀缺问题，易将异常误判为正常。
  2. 利用强化学习在自编码器潜在空间进行探索，平衡探索与利用，避免过拟合，提升异常检测能力。
  3. 结合小波分析提取时频域特征，并引入监督学习校准决策边界，提高模型区分正常和异常模式的能力。

📝 摘要（中文）

本文研究了在自编码器潜在空间中使用强化学习（RL）进行多元时间序列数据的无监督异常检测。一个重要的挑战是异常数据的有限可用性，这通常导致将异常错误分类为正常事件，从而增加了假阴性。强化学习可以通过在训练期间促进探索和平衡利用来帮助克服这一限制，从而有效地防止过拟合。小波分析也被用于增强异常检测，使时间序列数据能够分解为时域和频域。这种方法捕获多个分辨率下的异常，提取小波系数以检测数据中的突然和细微变化，从而改进异常检测过程。我们通过生成合成异常并在模型中嵌入监督框架来校准决策边界。这种监督元素通过微调决策边界并提高模型有效区分正常和异常模式的能力来帮助无监督学习过程。

🔬 方法详解

问题定义：论文旨在解决多元时间序列数据中，由于异常样本稀缺导致的无监督异常检测问题。现有方法容易将异常误判为正常，造成较高的假阴性率。

核心思路：论文的核心思路是利用强化学习（RL）在自编码器的潜在空间中进行探索，从而更好地学习正常数据的分布，并有效区分异常数据。同时，结合小波分析提取时频域特征，并引入监督学习进行决策边界的校准，进一步提升异常检测的准确性。

技术框架：整体框架包含以下几个主要模块：1) 自编码器：用于学习正常时间序列数据的潜在表示。2) 强化学习Agent：在潜在空间中探索，学习区分正常和异常数据。3) 小波分析：将时间序列数据分解为时域和频域，提取多分辨率特征。4) 决策边界校准：通过生成合成异常样本，并结合监督学习微调决策边界。

关键创新：论文的关键创新在于将强化学习引入到无监督异常检测中，通过强化学习的探索能力，克服了异常样本稀缺的问题。同时，结合小波分析和监督学习，进一步提升了异常检测的性能。

关键设计：论文的关键设计包括：1) 强化学习Agent的奖励函数设计，需要平衡探索和利用。2) 小波分析中，小波基的选择和分解层数的确定。3) 监督学习中，合成异常样本的生成方法和损失函数的设计。这些设计直接影响着模型的性能。

📊 实验亮点

论文通过实验验证了所提出方法的有效性，与现有无监督异常检测方法相比，该方法能够显著降低假阴性率，提高异常检测的准确率和召回率。具体的性能提升数据未知，但强调了在异常检测精度上的显著改善。

🎯 应用场景

该研究成果可应用于工业设备故障诊断、网络安全异常流量检测、金融欺诈检测等领域。通过准确识别时间序列数据中的异常模式，可以有效预防潜在风险，提高系统安全性和运营效率，具有重要的实际应用价值和广阔的应用前景。

📄 摘要（原文）

This paper investigates unsupervised anomaly detection in multivariate time-series data using reinforcement learning (RL) in the latent space of an autoencoder. A significant challenge is the limited availability of anomalous data, often leading to misclassifying anomalies as normal events, thus raising false negatives. RL can help overcome this limitation by promoting exploration and balancing exploitation during training, effectively preventing overfitting. Wavelet analysis is also utilized to enhance anomaly detection, enabling time-series data decomposition into both time and frequency domains. This approach captures anomalies at multiple resolutions, with wavelet coefficients extracted to detect both sudden and subtle shifts in the data, thereby refining the anomaly detection process. We calibrate the decision boundary by generating synthetic anomalies and embedding a supervised framework within the model. This supervised element aids the unsupervised learning process by fine-tuning the decision boundary and increasing the model's capacity to distinguish between normal and anomalous patterns effectively.