Closing the Loop: A Control-Theoretic Framework for Provably Stable Time Series Forecasting with LLMs

📄 arXiv: 2602.12756v1 📥 PDF

作者: Xingyu Zhang, Hanyun Du, Zeen Song, Jianqi Zhang, Changwen Zheng, Wenwen Qiang

分类: cs.LG

发布日期: 2026-02-13

💡 一句话要点

提出F-LLM：基于控制理论的LLM时间序列预测闭环稳定框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 大型语言模型 控制理论 闭环控制 误差累积

📋 核心要点

  1. 现有LLM时间序列预测方法采用开环自回归生成，易产生误差累积和轨迹漂移。
  2. F-LLM通过控制理论构建闭环反馈机制，利用残差估计器和反馈控制器主动稳定预测轨迹。
  3. 实验证明F-LLM能有效减轻误差传播，并在时间序列预测任务上取得良好性能。

📝 摘要（中文）

大型语言模型（LLM）最近在时间序列预测中展现出卓越潜力，利用其固有的序列推理能力来建模复杂的时间动态。然而，现有方法通常采用朴素的自回归生成策略。我们发现这种范式存在一个关键的理论缺陷：在推理过程中，模型以开环方式运行，递归地消耗自身生成的输出。这导致不可避免的误差累积（暴露偏差），其中早期的微小偏差会随着时间的推移而演变成显著的轨迹漂移。在本文中，我们通过控制理论的视角重新构建自回归预测，提出了F-LLM（反馈驱动的LLM），一种新颖的闭环框架。与被动传播误差的标准方法不同，F-LLM通过可学习的残差估计器（观察器）和反馈控制器主动稳定轨迹。此外，我们提供了理论保证，即我们的闭环机制确保一致有界的误差，前提是基础模型满足局部Lipschitz约束。大量的实验表明，F-LLM显著减轻了误差传播，在时间序列基准测试中取得了良好的性能。

🔬 方法详解

问题定义：论文旨在解决LLM在时间序列预测中，由于采用开环自回归方式而导致的误差累积和轨迹漂移问题。现有方法在推理时，模型递归地使用自身生成的输出来预测未来，这使得即使是微小的误差也会随着预测步数的增加而迅速放大，最终导致预测结果与真实值相差甚远。

核心思路：论文的核心思路是将自回归预测问题重新建模为控制理论中的闭环控制系统。通过引入反馈机制，模型可以不断地根据实际观测值来修正自身的预测，从而抑制误差的累积，并保持预测轨迹的稳定性。这种闭环控制的思想可以有效地解决开环自回归预测中存在的暴露偏差问题。

技术框架：F-LLM框架主要包含三个核心模块：基础LLM预测模型、残差估计器（Observer）和反馈控制器。首先，基础LLM模型根据历史数据进行初步的预测。然后，残差估计器根据实际观测值和LLM的预测值，估计出预测误差。最后，反馈控制器根据残差估计器的输出，生成一个控制信号，对LLM的预测结果进行修正，从而形成一个闭环反馈系统。

关键创新：该论文最重要的创新点在于将控制理论的思想引入到LLM的时间序列预测中，构建了一个闭环反馈框架。与传统的开环自回归方法不同，F-LLM能够主动地抑制误差的累积，从而提高预测的准确性和稳定性。此外，论文还提供了理论证明，表明在一定的条件下，F-LLM能够保证预测误差的一致有界性。

关键设计：残差估计器采用可学习的神经网络结构，用于估计LLM的预测误差。反馈控制器也采用可学习的结构，用于生成控制信号。论文中，损失函数的设计目标是最小化预测误差，同时保证系统的稳定性。具体的网络结构和参数设置根据具体的任务和数据集进行调整。论文还提出了局部Lipschitz约束，用于保证基础LLM模型的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，F-LLM在多个时间序列基准数据集上均取得了显著的性能提升。与传统的自回归方法相比，F-LLM能够有效地减轻误差传播，并提高长期预测的准确性。具体而言，在某些数据集上，F-LLM的预测误差降低了10%-20%。实验结果验证了F-LLM的有效性和优越性。

🎯 应用场景

该研究成果可广泛应用于需要长期稳定预测的时间序列分析场景，例如金融市场预测、供应链管理、能源需求预测、气候变化建模等。通过提高预测的准确性和稳定性，可以帮助决策者做出更明智的决策，降低风险，提高效率。未来，该方法还可以扩展到其他序列建模任务中。

📄 摘要（原文）

Large Language Models (LLMs) have recently shown exceptional potential in time series forecasting, leveraging their inherent sequential reasoning capabilities to model complex temporal dynamics. However, existing approaches typically employ a naive autoregressive generation strategy. We identify a critical theoretical flaw in this paradigm: during inference, the model operates in an open-loop manner, consuming its own generated outputs recursively. This leads to inevitable error accumulation (exposure bias), where minor early deviations cascade into significant trajectory drift over long horizons. In this paper, we reformulate autoregressive forecasting through the lens of control theory, proposing \textbf{F-LLM} (Feedback-driven LLM), a novel closed-loop framework. Unlike standard methods that passively propagate errors, F-LLM actively stabilizes the trajectory via a learnable residual estimator (Observer) and a feedback controller. Furthermore, we provide a theoretical guarantee that our closed-loop mechanism ensures uniformly bounded error, provided the base model satisfies a local Lipschitz constraint. Extensive experiments demonstrate that F-LLM significantly mitigates error propagation, achieving good performance on time series benchmarks.