Exploring the Effectiveness and Interpretability of Texts in LLM-based Time Series Models

📄 arXiv: 2504.08808v1 📥 PDF

作者: Zhengke Sun, Hangwei Qian, Ivor Tsang

分类: cs.CL

发布日期: 2025-04-09

🔗 代码/项目: GITHUB

💡 一句话要点

研究表明LLM时间序列模型中文本信息的有效性和可解释性有限

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 大型语言模型 文本可解释性 多模态学习 语义匹配指数

📋 核心要点

  1. 现有基于LLM的时间序列模型依赖文本信息增强预测能力，但文本的实际效用和可解释性尚不明确。
  2. 该研究通过实验分析文本提示和原型，并提出语义匹配指数（SMI）来评估文本与时间序列的匹配度。
  3. 实验结果表明，文本信息在许多情况下未能显著提升预测性能，且现有框架学习的文本表示可解释性不足。

📝 摘要（中文）

大型语言模型（LLM）已被应用于时间序列预测任务，利用预训练语言模型作为骨干网络，并结合文本数据以增强LLM在时间序列方面的综合能力。然而，这些文本信息对于解释真的有帮助吗？本研究旨在调查这种文本结合的实际效力和可解释性。通过一系列关于文本提示和文本原型的实证实验，我们的发现表明，两种模态之间存在不一致，并且在许多情况下，文本信息并没有显著提高时间序列预测性能。此外，可视化分析表明，现有框架学习的文本表示在应用于时间序列数据时缺乏足够的可解释性。我们进一步提出了一种名为语义匹配指数（SMI）的新指标，以更好地评估时间序列和文本之间的匹配程度。我们的分析揭示了当前时间序列LLM中文本的不一致性和有限的可解释性，我们希望这项研究能够提高人们对时间序列文本可解释性的认识。代码可在https://github.com/zachysun/TS-Lang-Exp 获取。

🔬 方法详解

问题定义：现有基于LLM的时间序列模型试图通过融入文本信息来提升预测性能和可解释性。然而，这些文本信息是否真的有效，以及它们在多大程度上能够提供可解释的洞察，仍然是一个开放的问题。现有方法缺乏对文本信息与时间序列数据之间对齐程度的有效评估，导致模型可能学习到与时间序列无关或误导性的文本表示。

核心思路：该研究的核心思路是通过实证分析来评估文本信息在LLM时间序列模型中的作用。具体而言，研究者设计了一系列实验，包括文本提示和文本原型，以考察文本信息对预测性能的影响。此外，他们还提出了一个新的指标，即语义匹配指数（SMI），用于量化时间序列和文本之间的语义一致性。通过这些分析，研究旨在揭示文本信息在现有模型中可能存在的不一致性和可解释性问题。

技术框架：该研究的技术框架主要包括以下几个部分：1) 基于LLM的时间序列预测模型：选择或构建一个基于大型语言模型的时间序列预测模型，该模型能够接受文本输入并将其融入到预测过程中。2) 文本提示和文本原型：设计不同的文本提示和文本原型，用于指导模型学习文本表示。3) 实验评估：进行一系列实验，评估不同文本提示和原型对预测性能的影响。4) 可视化分析：对模型学习到的文本表示进行可视化分析，以考察其可解释性。5) 语义匹配指数（SMI）：计算时间序列和文本之间的SMI，用于量化它们的语义一致性。

关键创新：该研究的关键创新点在于：1) 对LLM时间序列模型中文本信息的有效性和可解释性进行了系统的实证分析，揭示了现有方法可能存在的问题。2) 提出了语义匹配指数（SMI），用于量化时间序列和文本之间的语义一致性，为评估文本信息的可解释性提供了一种新的方法。

关键设计：在实验设计方面，研究者精心设计了不同的文本提示和文本原型，以考察文本信息对预测性能的影响。例如，他们可能使用了不同的文本描述来描述时间序列的特征，或者使用了不同的文本原型来代表不同的时间序列模式。在SMI的计算方面，研究者需要定义一种合适的语义表示方法，例如使用预训练的语言模型来提取文本和时间序列的语义特征，然后计算它们之间的相似度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在许多情况下，文本信息并没有显著提高时间序列预测性能。可视化分析显示，现有框架学习的文本表示在应用于时间序列数据时缺乏足够的可解释性。SMI指标的计算结果进一步证实了时间序列和文本之间存在不一致性。

🎯 应用场景

该研究成果可应用于改进基于LLM的时间序列预测模型，提升其预测精度和可解释性。通过更好地理解和利用文本信息，可以为金融、能源、交通等领域的时间序列预测提供更可靠的决策支持。此外，该研究提出的SMI指标可用于评估其他多模态时间序列模型的文本信息质量。

📄 摘要（原文）

Large Language Models (LLMs) have been applied to time series forecasting tasks, leveraging pre-trained language models as the backbone and incorporating textual data to purportedly enhance the comprehensive capabilities of LLMs for time series. However, are these texts really helpful for interpretation? This study seeks to investigate the actual efficacy and interpretability of such textual incorporations. Through a series of empirical experiments on textual prompts and textual prototypes, our findings reveal that the misalignment between two modalities exists, and the textual information does not significantly improve time series forecasting performance in many cases. Furthermore, visualization analysis indicates that the textual representations learned by existing frameworks lack sufficient interpretability when applied to time series data. We further propose a novel metric named Semantic Matching Index (SMI) to better evaluate the matching degree between time series and texts during our post hoc interpretability investigation. Our analysis reveals the misalignment and limited interpretability of texts in current time-series LLMs, and we hope this study can raise awareness of the interpretability of texts for time series. The code is available at https://github.com/zachysun/TS-Lang-Exp.