Can Multimodal LLMs Perform Time Series Anomaly Detection?

📄 arXiv: 2502.17812v1 📥 PDF

作者: Xiongxiao Xu, Haoran Wang, Yueqing Liang, Philip S. Yu, Yue Zhao, Kai Shu

分类: cs.CL, cs.LG

发布日期: 2025-02-25

备注: 9 pages for the main content; 32 pages for the full paper including the appendix. More resources on the intersection of multimodal LLMs and time series analysis are on the website https://mllm-ts.github.io

🔗 代码/项目: GITHUB

💡 一句话要点

提出VisualTimeAnomaly基准，评估多模态LLM在时间序列异常检测中的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列异常检测 多模态LLM 视觉语言模型 VisualTimeAnomaly 不规则时间序列

📋 核心要点

  1. 现有时间序列异常检测方法缺乏对多模态信息的有效利用，特别是视觉信息。
  2. 将时间序列数据转换为图像，利用MLLMs的视觉理解能力进行异常检测。
  3. 实验表明，MLLMs在范围型和变量型异常检测上表现更佳，且对不规则数据具有鲁棒性。

📝 摘要（中文）

大型语言模型（LLMs）越来越多地应用于时间序列分析。然而，多模态LLMs（MLLMs），特别是视觉-语言模型，在时间序列方面的潜力在很大程度上仍未被充分探索。人类检测时间序列异常的一种自然方式是通过可视化和文本描述。受此启发，我们提出了一个关键且实用的研究问题：多模态LLMs能否执行时间序列异常检测？为了回答这个问题，我们提出了VisualTimeAnomaly基准，以评估MLLMs在时间序列异常检测（TSAD）中的能力。我们的方法将时间序列数值数据转换为图像格式，并将这些图像输入到各种MLLMs中，包括专有模型（GPT-4o和Gemini-1.5）和开源模型（LLaVA-NeXT和Qwen2-VL），每个模型都有一个较大和一个较小的变体。VisualTimeAnomaly总共包含12.4k个时间序列图像，涵盖3个场景和3个异常粒度，以及9种异常类型，涉及8个MLLMs。从单变量情况（点状和范围状异常）开始，我们将评估扩展到更实际的场景，包括多变量和不规则时间序列场景，以及变量状异常。我们的研究揭示了几个关键见解：1) MLLMs检测范围状和变量状异常比点状异常更有效。2) MLLMs对不规则时间序列具有很强的鲁棒性，即使缺失25%的数据。3) 在TSAD中，开源MLLMs的性能与专有模型相当。虽然开源MLLMs在单变量时间序列上表现出色，但专有MLLMs在多变量时间序列上表现出卓越的有效性。据我们所知，这是第一个全面研究MLLMs用于TSAD的工作，特别是针对多变量和不规则时间序列场景。我们发布了我们的数据集和代码，以支持未来的研究。

🔬 方法详解

问题定义：论文旨在解决时间序列异常检测问题，现有方法主要依赖于数值分析，忽略了时间序列的可视化信息。传统方法在处理多变量和不规则时间序列时面临挑战，缺乏对上下文信息的有效利用。

核心思路：论文的核心思路是将时间序列数据转换为图像，利用多模态LLM（MLLM）的视觉理解能力进行异常检测。通过将时间序列可视化，MLLM可以利用其预训练的视觉知识和语言理解能力，从而更有效地识别异常模式。

技术框架：整体框架包括以下几个阶段：1) 数据预处理：将时间序列数据进行清洗和标准化。2) 图像转换：将时间序列数据转换为图像格式，例如折线图或热图。3) MLLM输入：将图像输入到MLLM中，并结合文本提示，例如“检测图像中的异常”。4) 异常检测：MLLM输出异常检测结果，包括异常类型和位置。

关键创新：论文的关键创新在于将MLLM应用于时间序列异常检测，并提出了VisualTimeAnomaly基准。与传统方法相比，该方法能够利用MLLM的视觉理解能力，从而更有效地识别异常模式，尤其是在多变量和不规则时间序列场景下。

关键设计：论文使用了多种MLLM模型，包括GPT-4o、Gemini-1.5、LLaVA-NeXT和Qwen2-VL。针对不同的时间序列场景，设计了不同的图像转换方法和文本提示。此外，论文还考虑了不同的异常粒度，包括点状、范围状和变量状异常。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MLLMs在时间序列异常检测方面具有潜力。MLLMs在范围状和变量状异常检测上表现优于点状异常检测。MLLMs对不规则时间序列具有很强的鲁棒性，即使缺失25%的数据。开源MLLMs在单变量时间序列上表现出色，而专有MLLMs在多变量时间序列上表现更佳。

🎯 应用场景

该研究成果可应用于各种时间序列异常检测场景，例如工业生产中的设备故障诊断、金融领域的欺诈检测、网络安全领域的入侵检测以及医疗健康领域的疾病预警。通过利用MLLM的视觉理解能力，可以提高异常检测的准确性和效率，从而降低风险和损失。

📄 摘要（原文）

Large language models (LLMs) have been increasingly used in time series analysis. However, the potential of multimodal LLMs (MLLMs), particularly vision-language models, for time series remains largely under-explored. One natural way for humans to detect time series anomalies is through visualization and textual description. Motivated by this, we raise a critical and practical research question: Can multimodal LLMs perform time series anomaly detection? To answer this, we propose VisualTimeAnomaly benchmark to evaluate MLLMs in time series anomaly detection (TSAD). Our approach transforms time series numerical data into the image format and feed these images into various MLLMs, including proprietary models (GPT-4o and Gemini-1.5) and open-source models (LLaVA-NeXT and Qwen2-VL), each with one larger and one smaller variant. In total, VisualTimeAnomaly contains 12.4k time series images spanning 3 scenarios and 3 anomaly granularities with 9 anomaly types across 8 MLLMs. Starting with the univariate case (point- and range-wise anomalies), we extend our evaluation to more practical scenarios, including multivariate and irregular time series scenarios, and variate-wise anomalies. Our study reveals several key insights: 1) MLLMs detect range- and variate-wise anomalies more effectively than point-wise anomalies. 2) MLLMs are highly robust to irregular time series, even with 25% of the data missing. 3) Open-source MLLMs perform comparably to proprietary models in TSAD. While open-source MLLMs excel on univariate time series, proprietary MLLMs demonstrate superior effectiveness on multivariate time series. To the best of our knowledge, this is the first work to comprehensively investigate MLLMs for TSAD, particularly for multivariate and irregular time series scenarios. We release our dataset and code at https://github.com/mllm-ts/VisualTimeAnomaly to support future research.