An Exploratory Study to Repurpose LLMs to a Unified Architecture for Time Series Classification

📄 arXiv: 2601.09971v1 📥 PDF

作者: Hansen He, Shuheng Li

分类: cs.LG

发布日期: 2026-01-15

💡 一句话要点

探索性研究：重用LLM为统一架构用于时间序列分类

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列分类 大型语言模型 混合架构 Inception模型 时间序列编码器

📋 核心要点

  1. 现有时间序列分类方法在利用LLM的强大能力方面存在不足，尤其是在时间序列编码器架构的选择上。
  2. 论文探索了混合架构，将专门的时间序列编码器与冻结的LLM主干相结合，旨在提升时间序列分类性能。
  3. 实验结果表明，Inception模型作为时间序列编码器，在与LLM结合时，能够持续带来性能提升。

📝 摘要（中文）

时间序列分类（TSC）是一个核心的机器学习问题，具有广泛的应用。最近，由于大型语言模型（LLM）强大的推理和泛化能力，人们对将LLM重新用于TSC越来越感兴趣。先前的工作主要集中于将时间序列数据显式映射到文本领域的对齐策略；然而，时间序列编码器架构的选择仍未得到充分探索。在这项工作中，我们对混合架构进行了探索性研究，该架构将专门的时间序列编码器与冻结的LLM主干相结合。我们评估了各种编码器系列，包括Inception、卷积、残差、基于Transformer和多层感知器架构，其中Inception模型是唯一在与LLM主干集成时始终产生积极性能增益的编码器架构。总的来说，这项研究强调了时间序列编码器选择在混合LLM架构中的影响，并指出基于Inception的模型是未来LLM驱动的时间序列学习的一个有希望的方向。

🔬 方法详解

问题定义：论文旨在解决时间序列分类（TSC）问题，并探索如何有效地利用大型语言模型（LLM）的强大能力。现有方法主要集中于将时间序列数据转换为文本，然后输入LLM进行处理，但对时间序列编码器的选择缺乏深入研究，可能限制了整体性能。

核心思路：论文的核心思路是探索混合架构，即结合专门设计的时间序列编码器与冻结的LLM主干。通过这种方式，可以利用专门的编码器提取时间序列的特征，同时利用LLM的推理和泛化能力进行分类。选择冻结LLM主干可以减少训练成本，并利用预训练LLM的知识。

技术框架：整体架构包含两个主要模块：时间序列编码器和LLM主干。时间序列编码器负责将原始时间序列数据转换为特征向量表示。论文评估了多种编码器架构，包括Inception、卷积、残差、Transformer和多层感知器。编码器的输出被输入到冻结的LLM主干中，LLM负责进行分类。整个框架通过优化编码器的参数来提升分类性能。

关键创新：该研究的关键创新在于对不同时间序列编码器与LLM结合的有效性进行了系统的探索。以往的研究主要关注时间序列到文本的转换方法，而忽略了编码器架构的重要性。该研究发现，Inception模型作为编码器，在与LLM结合时，能够持续带来性能提升，这表明Inception模型能够有效地提取时间序列的特征，并与LLM的知识相结合。

关键设计：论文评估了多种时间序列编码器，包括InceptionTime、ResNet、MLP等。LLM主干采用冻结的方式，以减少训练成本。损失函数采用交叉熵损失函数，优化器采用Adam。实验中，对不同的编码器和LLM组合进行了大量的实验，以评估其性能。

📊 实验亮点

实验结果表明，Inception模型作为时间序列编码器，在与LLM结合时，能够持续带来性能提升。与其他编码器（如卷积、残差、Transformer和多层感知器）相比，Inception模型表现出更强的特征提取能力和与LLM的兼容性。这一发现为未来LLM驱动的时间序列学习提供了一个有希望的方向。

🎯 应用场景

该研究成果可应用于各种时间序列分类任务，例如医疗诊断、金融预测、工业监控等。通过结合专门的时间序列编码器和LLM，可以提升时间序列分类的准确性和效率。未来的研究可以进一步探索更有效的编码器架构和LLM微调策略，以实现更好的性能。

📄 摘要（原文）

Time series classification (TSC) is a core machine learning problem with broad applications. Recently there has been growing interest in repurposing large language models (LLMs) for TSC, motivated by their strong reasoning and generalization ability. Prior work has primarily focused on alignment strategies that explicitly map time series data into the textual domain; however, the choice of time series encoder architecture remains underexplored. In this work, we conduct an exploratory study of hybrid architectures that combine specialized time series encoders with a frozen LLM backbone. We evaluate a diverse set of encoder families, including Inception, convolutional, residual, transformer-based, and multilayer perceptron architectures, among which the Inception model is the only encoder architecture that consistently yields positive performance gains when integrated with an LLM backbone. Overall, this study highlights the impact of time series encoder choice in hybrid LLM architectures and points to Inception-based models as a promising direction for future LLM-driven time series learning.