Large Language Models are Few-shot Multivariate Time Series Classifiers

📄 arXiv: 2502.00059v1 📥 PDF

作者: Yakun Chen, Zihao Li, Chao Yang, Xianzhi Wang, Guandong Xu

分类: cs.LG, cs.AI

发布日期: 2025-01-30

💡 一句话要点

提出LLMFew框架，利用大语言模型解决多元时间序列小样本分类问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 多元时间序列分类 小样本学习 迁移学习 低秩自适应

📋 核心要点

  1. 现有方法在多元时间序列小样本分类任务中，面临数据量不足导致模型泛化能力差的挑战。
  2. LLMFew框架利用预训练大语言模型的知识，结合时序卷积编码器和LoRA微调，提升小样本分类性能。
  3. 实验表明，LLMFew在多个数据集上显著优于现有方法，验证了其在小样本多元时间序列分类中的有效性。

📝 摘要（中文）

本文研究了大语言模型(LLMs)在多元时间序列数据小样本分类中的应用。针对工业应用中训练数据稀缺的问题，论文提出LLMFew框架，旨在利用LLMs的预训练知识来克服数据匮乏的挑战。该模型引入了分块时序卷积编码器(PTCEnc)来对齐时间序列数据和LLMs的文本嵌入输入。此外，论文还使用低秩自适应(LoRA)方法对预训练LLM解码器进行微调，以增强其在时间序列数据中的特征表示学习能力。实验结果表明，该模型显著优于现有技术，在手写数据集和乙醇浓度数据集上的分类精度分别提高了125.2%和50.2%。实验结果还表明，基于LLM的方法在各种小样本多元时间序列分类数据集上表现良好，与传统模型相比，提供了可靠的结果。这项研究为LLM在数据受限的工业环境中的部署铺平了道路。

🔬 方法详解

问题定义：论文旨在解决多元时间序列数据在小样本情况下的分类问题。现有方法在数据量不足时，模型训练困难，泛化能力受限，难以达到理想的分类精度。

核心思路：论文的核心思路是利用预训练大语言模型(LLMs)中蕴含的丰富知识，将其迁移到多元时间序列分类任务中。通过将时间序列数据转换为LLM可以理解的文本嵌入，并对LLM进行微调，从而克服数据稀缺带来的挑战。

技术框架：LLMFew框架主要包含两个核心模块：分块时序卷积编码器(PTCEnc)和LoRA微调的LLM解码器。首先，PTCEnc将多元时间序列数据分割成块，并使用时序卷积提取局部特征，然后将这些特征转换为文本嵌入。接着，将这些嵌入输入到经过LoRA微调的LLM解码器中，进行分类预测。

关键创新：该论文的关键创新在于将大语言模型应用于多元时间序列的小样本分类任务，并设计了PTCEnc模块来实现时间序列数据与LLM文本输入的对齐。此外，使用LoRA微调LLM解码器，能够在有限数据下有效提升模型的特征表示能力。

关键设计：PTCEnc采用分块策略，旨在捕捉时间序列的局部模式。LoRA通过引入低秩矩阵来限制微调参数的数量，从而避免在小样本情况下出现过拟合。损失函数采用交叉熵损失，用于衡量分类预测结果与真实标签之间的差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLMFew在手写数据集和乙醇浓度数据集上的分类精度分别提高了125.2%和50.2%，显著优于现有技术。此外，在多个小样本多元时间序列分类数据集上的实验结果表明，LLMFew具有良好的泛化能力和鲁棒性，验证了其在实际应用中的潜力。

🎯 应用场景

该研究成果可广泛应用于工业生产、医疗健康、金融风控等领域。例如，在工业生产中，可用于设备故障诊断和预测性维护；在医疗健康领域，可用于疾病早期预警和个性化治疗方案制定；在金融风控领域，可用于欺诈检测和信用评估。该研究为利用大语言模型解决实际工业问题提供了新的思路和方法。

📄 摘要（原文）

Large Language Models (LLMs) have been extensively applied in time series analysis. Yet, their utility in the few-shot classification (i.e., a crucial training scenario due to the limited training data available in industrial applications) concerning multivariate time series data remains underexplored. We aim to leverage the extensive pre-trained knowledge in LLMs to overcome the data scarcity problem within multivariate time series. Specifically, we propose LLMFew, an LLM-enhanced framework to investigate the feasibility and capacity of LLMs for few-shot multivariate time series classification. This model introduces a Patch-wise Temporal Convolution Encoder (PTCEnc) to align time series data with the textual embedding input of LLMs. We further fine-tune the pre-trained LLM decoder with Low-rank Adaptations (LoRA) to enhance its feature representation learning ability in time series data. Experimental results show that our model outperformed state-of-the-art baselines by a large margin, achieving 125.2% and 50.2% improvement in classification accuracy on Handwriting and EthanolConcentration datasets, respectively. Moreover, our experimental results demonstrate that LLM-based methods perform well across a variety of datasets in few-shot MTSC, delivering reliable results compared to traditional models. This success paves the way for their deployment in industrial environments where data are limited.