From Images to Signals: Are Large Vision Models Useful for Time Series Analysis?

📄 arXiv: 2505.24030v2 📥 PDF

作者: Ziming Zhao, ChengAo Shen, Hanghang Tong, Dongjin Song, Zhigang Deng, Qingsong Wen, Jingchao Ni

分类: cs.LG, cs.AI, cs.CV

发布日期: 2025-05-29 (更新: 2025-07-09)

💡 一句话要点

研究大型视觉模型在时间序列分析中的有效性，揭示其在分类任务的优势与预测任务的挑战。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列分析 大型视觉模型 图像转换 分类 预测

📋 核心要点

  1. Transformer和LLM在时间序列分析中备受关注，但LVMs的有效性仍需验证。
  2. 该研究通过将时间序列转换为图像，利用LVMs进行分类和预测任务。
  3. 实验表明LVMs在时间序列分类中有效，但在预测中存在局限性，如对特定LVM和图像方法的依赖。

📝 摘要（中文）

本文旨在研究大型视觉模型（LVMs）在时间序列分析中的有效性。随着Transformer和LLM在时间序列研究中日益受到关注，LVMs作为一种多模态方法也展现出潜力。然而，LVMs是否真正适用于时间序列分析仍待考察。为此，我们设计并进行了首次系统性研究，涉及4个LVMs、8种图像转换方法、18个数据集以及26个基线模型，涵盖高层（分类）和低层（预测）任务，并进行了全面的消融分析。研究结果表明，LVMs在时间序列分类任务中表现良好，但在预测任务中面临挑战。目前最好的LVM预测器仅限于特定类型的LVM和图像转换方法，并且对预测周期存在偏差，利用长回溯窗口的能力有限。我们希望这些发现能为未来基于LVM和多模态的时间序列任务解决方案研究奠定基础。

🔬 方法详解

问题定义：现有时间序列分析方法，特别是基于Transformer和LLM的方法，在处理复杂时间序列数据时面临挑战。同时，如何有效利用新兴的大型视觉模型（LVMs）进行时间序列分析是一个尚未充分探索的问题。现有研究缺乏对LVMs在时间序列任务中性能的系统性评估，特别是对于预测任务，LVMs的适用性和局限性尚不明确。

核心思路：本文的核心思路是将时间序列数据转换为图像，然后利用预训练的LVMs提取图像特征，并将这些特征用于时间序列分类和预测任务。通过将时间序列数据转化为视觉信息，可以借助LVMs强大的图像理解能力来处理时间序列数据，从而探索LVMs在时间序列分析中的潜力。

技术框架：整体框架包括三个主要步骤：1) 时间序列成像：使用不同的成像方法（如Gramian Angular Field, Markov Transition Field等）将时间序列数据转换为图像。2) 特征提取：利用预训练的LVMs（如ResNet, ViT等）提取图像特征。3) 任务执行：将提取的特征输入到分类器（如线性分类器）或预测模型（如线性回归模型）中，完成时间序列分类或预测任务。

关键创新：该研究的主要创新在于首次系统性地评估了LVMs在时间序列分析中的有效性。通过对比不同的LVMs、成像方法和数据集，揭示了LVMs在分类任务中的优势和在预测任务中的局限性。此外，该研究还分析了LVMs在预测任务中存在的偏差，例如对特定预测周期的偏好和对长回溯窗口的利用不足。

关键设计：研究中使用了多种成像方法，包括Gramian Angular Field (GAF), Markov Transition Field (MTF), Recurrence Plot (RP)等，以将时间序列数据转换为图像。选择了多种预训练的LVMs，包括ResNet, ViT等，以提取图像特征。在分类任务中，使用线性分类器对提取的特征进行分类。在预测任务中，使用线性回归模型对提取的特征进行预测。实验中还进行了消融分析，以评估不同成像方法和LVMs对性能的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LVMs在时间序列分类任务中表现出良好的性能，优于部分传统方法。然而，在预测任务中，LVMs的性能相对较弱，并且对特定的LVM和成像方法存在依赖。研究还发现，LVMs在预测任务中存在偏差，例如对特定预测周期的偏好和对长回溯窗口的利用不足。最佳LVM预测器在某些数据集上可以与传统时间序列模型竞争，但整体性能仍有提升空间。

🎯 应用场景

该研究成果可应用于多个领域，如金融时间序列分析（股票价格预测、风险评估）、医疗健康（心电图分析、疾病诊断）、工业生产（设备故障预测、质量控制）等。通过利用LVMs的图像理解能力，可以提升时间序列分析的准确性和效率，为相关领域的决策提供支持。未来的研究可以探索更有效的图像转换方法和LVM架构，以进一步提升LVMs在时间序列分析中的性能。

📄 摘要（原文）

Transformer-based models have gained increasing attention in time series research, driving interest in Large Language Models (LLMs) and foundation models for time series analysis. As the field moves toward multi-modality, Large Vision Models (LVMs) are emerging as a promising direction. In the past, the effectiveness of Transformer and LLMs in time series has been debated. When it comes to LVMs, a similar question arises: are LVMs truely useful for time series analysis? To address it, we design and conduct the first principled study involving 4 LVMs, 8 imaging methods, 18 datasets and 26 baselines across both high-level (classification) and low-level (forecasting) tasks, with extensive ablation analysis. Our findings indicate LVMs are indeed useful for time series classification but face challenges in forecasting. Although effective, the contemporary best LVM forecasters are limited to specific types of LVMs and imaging methods, exhibit a bias toward forecasting periods, and have limited ability to utilize long look-back windows. We hope our findings could serve as a cornerstone for future research on LVM- and multimodal-based solutions to different time series tasks.