STELLA: Guiding Large Language Models for Time Series Forecasting with Semantic Abstractions

📄 arXiv: 2512.04871v1 📥 PDF

作者: Junjie Fan, Hongye Zhao, Linduo Wei, Jiayu Rao, Guijia Li, Jiaxin Yuan, Wenqi Xu, Yong Qi

分类: cs.AI, cs.CL, cs.LG

发布日期: 2025-12-04

备注: This work has been submitted to the IEEE for possible publication

💡 一句话要点

STELLA：利用语义抽象引导大语言模型进行时间序列预测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 大语言模型 语义抽象 动态Prompt 零样本学习

📋 核心要点

  1. 现有LLM时间序列预测方法未能有效增强原始序列信息，导致LLM推理能力未被充分利用，这是一个核心问题。
  2. STELLA框架通过动态语义抽象，将时间序列分解为趋势、季节性和残差成分，并转化为分层语义锚点，引导LLM建模。
  3. 实验结果表明，STELLA在长短期预测中优于现有方法，并在零样本和少样本设置中表现出更好的泛化能力。

📝 摘要（中文）

针对大语言模型(LLMs)在时间序列预测中未能有效利用原始序列信息，导致推理能力受限的问题，以及现有prompt策略依赖静态相关性而非动态行为生成解释，缺乏全局和实例特定上下文的问题，本文提出了STELLA（Semantic-Temporal Alignment with Language Abstractions）框架。STELLA采用动态语义抽象机制，将输入序列分解为趋势、季节性和残差成分，并将这些成分的内在行为特征转化为分层语义锚点：用于全局上下文的语料库级语义先验(CSP)和用于实例级模式的细粒度行为Prompt(FBP)。STELLA使用这些锚点作为前缀prompt，引导LLM建模内在动态。在八个基准数据集上的实验表明，STELLA在长短期预测中优于最先进的方法，并在零样本和少样本设置中表现出卓越的泛化能力。消融研究进一步验证了动态生成的语义锚点的有效性。

🔬 方法详解

问题定义：现有的大语言模型在时间序列预测任务中，无法充分利用原始时间序列的信息，导致其强大的推理能力无法有效发挥。现有的prompt策略通常依赖于静态相关性，而忽略了时间序列动态行为的生成性解释，缺乏全局和实例级别的上下文信息。这限制了LLM在时间序列预测中的性能。

核心思路：STELLA的核心思路是通过动态语义抽象，将原始时间序列分解为更易于理解和建模的成分（趋势、季节性和残差），然后将这些成分的内在行为特征转化为语义锚点，作为LLM的prompt，从而引导LLM更好地理解和预测时间序列的动态行为。这种方法旨在为LLM提供更丰富、更结构化的信息，使其能够更有效地利用其推理能力。

技术框架：STELLA框架主要包含以下几个模块：1) 动态语义抽象模块：将输入时间序列分解为趋势、季节性和残差成分。2) 分层语义锚点生成模块：将这些成分的内在行为特征转化为两种类型的语义锚点：语料库级语义先验(CSP)和细粒度行为Prompt(FBP)。CSP提供全局上下文信息，FBP提供实例级别的模式信息。3) LLM引导模块：使用生成的语义锚点作为前缀prompt，引导LLM进行时间序列预测。

关键创新：STELLA的关键创新在于其动态语义抽象机制和分层语义锚点的设计。传统的prompt方法通常使用静态的、预定义的prompt，而STELLA能够根据输入时间序列的特性动态生成prompt，从而更好地适应不同的时间序列。分层语义锚点的设计能够提供全局和实例级别的上下文信息，从而更全面地引导LLM进行预测。

关键设计：动态语义抽象模块的具体实现方式（例如，使用何种时间序列分解算法），以及如何将分解后的成分转化为语义锚点（例如，使用何种特征提取方法和编码方式）是关键的设计细节。此外，如何选择合适的LLM，以及如何调整prompt的格式和长度，也会影响最终的预测性能。论文中可能还涉及一些超参数的设置，例如，CSP和FBP的权重，以及LLM的学习率等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

STELLA在八个基准数据集上进行了实验，结果表明，STELLA在长短期预测中均优于最先进的方法。在零样本和少样本设置中，STELLA表现出卓越的泛化能力，证明了其能够有效地利用语义锚点引导LLM进行时间序列预测。具体的性能提升数据（例如，RMSE、MAE等指标的降低幅度）需要在论文中查找。

🎯 应用场景

STELLA框架具有广泛的应用前景，可以应用于金融市场的股票价格预测、能源消耗预测、交通流量预测、销售预测等领域。通过提高时间序列预测的准确性和泛化能力，STELLA可以帮助企业和组织做出更明智的决策，提高运营效率，降低风险。未来，STELLA还可以与其他技术（例如，强化学习、联邦学习）相结合，以解决更复杂的时间序列预测问题。

📄 摘要（原文）

Recent adaptations of Large Language Models (LLMs) for time series forecasting often fail to effectively enhance information for raw series, leaving LLM reasoning capabilities underutilized. Existing prompting strategies rely on static correlations rather than generative interpretations of dynamic behavior, lacking critical global and instance-specific context. To address this, we propose STELLA (Semantic-Temporal Alignment with Language Abstractions), a framework that systematically mines and injects structured supplementary and complementary information. STELLA employs a dynamic semantic abstraction mechanism that decouples input series into trend, seasonality, and residual components. It then translates intrinsic behavioral features of these components into Hierarchical Semantic Anchors: a Corpus-level Semantic Prior (CSP) for global context and a Fine-grained Behavioral Prompt (FBP) for instance-level patterns. Using these anchors as prefix-prompts, STELLA guides the LLM to model intrinsic dynamics. Experiments on eight benchmark datasets demonstrate that STELLA outperforms state-of-the-art methods in long- and short-term forecasting, showing superior generalization in zero-shot and few-shot settings. Ablation studies further validate the effectiveness of our dynamically generated semantic anchors.