Probabilistic Forecasting for Building Energy Systems using Time-Series Foundation Models

📄 arXiv: 2506.00630v1 📥 PDF

作者: Young Jin Park, Francois Germain, Jing Liu, Ye Wang, Toshiaki Koike-Akino, Gordon Wichern, Navid Azizan, Christopher R. Laughman, Ankush Chakrabarty

分类: cs.LG

发布日期: 2025-05-31

备注: Preliminary version appeared in NeurIPS TSALM Workshop: https://neurips.cc/virtual/2024/103019

💡 一句话要点

利用时序基础模型进行建筑能源系统概率预测，提升数据受限场景下的预测精度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时序基础模型 建筑能源预测 微调 低秩适应 参数高效微调 概率预测 能源管理系统

📋 核心要点

  1. 现有建筑能源预测方法在数据量不足时表现不佳，难以充分利用跨建筑的通用知识。
  2. 论文提出利用时序基础模型，通过微调适应特定建筑，从而提升预测精度和泛化能力。
  3. 实验表明，微调后的时序基础模型在准确性、鲁棒性和泛化性上优于现有深度学习模型。

📝 摘要（中文）

建筑能源系统的决策制定严重依赖于相关时间序列模型的预测准确性。在缺乏目标建筑大量数据的场景中，基础模型(FMs)代表了一种有前景的技术，它可以利用来自庞大且多样化的预训练数据集的先验知识，构建准确的概率预测器，用于决策工具。本文研究了时序基础模型(TSFMs)在建筑能源预测中的适用性和微调策略。我们使用来自商业净零能源建筑的真实数据，通过全微调和参数高效微调方法，特别是低秩适应(LoRA)，来捕获房间占用、碳排放、插座负载和HVAC能源消耗等信号。分析表明，TSFMs的零样本预测性能通常欠佳。为了解决这个缺点，我们证明了即使在历史数据有限的情况下，采用全微调或参数高效微调也能显著提高预测精度。值得注意的是，使用低秩适应(LoRA)进行微调可以显著降低计算成本，而不会牺牲精度。此外，经过微调的TSFMs在准确性、鲁棒性和跨不同建筑区域和季节性条件的泛化能力方面，始终优于最先进的深度预测模型(例如，时间融合Transformer)。这些结果强调了TSFMs对于实际的、数据受限的建筑能源管理系统的有效性，从而改进决策制定，以追求能源效率和可持续性。

🔬 方法详解

问题定义：论文旨在解决建筑能源系统中，在数据量有限的情况下，如何准确预测能源消耗、房间占用等时间序列数据的问题。现有方法，如传统的统计模型和深度学习模型，在数据量不足时，泛化能力较差，难以适应不同建筑的特性。

核心思路：论文的核心思路是利用预训练的时序基础模型（TSFMs），该模型已经在大量的时间序列数据上进行了预训练，学习到了通用的时间序列模式。通过在目标建筑的少量数据上进行微调，可以将TSFMs的通用知识迁移到特定建筑，从而提高预测精度。

技术框架：整体框架包括以下几个阶段：1) 选择合适的时序基础模型；2) 在目标建筑的少量历史数据上进行微调，包括全微调和参数高效微调（LoRA）；3) 使用微调后的模型进行预测；4) 评估预测结果。

关键创新：论文的关键创新在于将时序基础模型应用于建筑能源预测领域，并探索了不同的微调策略。特别地，论文验证了参数高效微调方法（LoRA）在保持预测精度的同时，可以显著降低计算成本。

关键设计：论文比较了全微调和LoRA两种微调策略。LoRA通过引入低秩矩阵来更新模型参数，从而减少了需要训练的参数数量。论文还使用了真实商业建筑的数据集，包括房间占用、碳排放、插座负载和HVAC能源消耗等多种时间序列数据。损失函数未知，网络结构细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，经过微调的TSFMs在预测精度上显著优于最先进的深度预测模型（如Temporal Fusion Transformers）。特别地，使用LoRA进行微调可以在不牺牲预测精度的前提下，显著降低计算成本。在不同建筑区域和季节性条件下，TSFMs也表现出更强的鲁棒性和泛化能力。具体性能提升数据未知。

🎯 应用场景

该研究成果可应用于智能建筑能源管理系统，帮助建筑管理者更准确地预测能源需求，优化能源分配，降低能源消耗，提高能源效率，并最终实现建筑的可持续发展。此外，该方法也可推广到其他数据受限的时间序列预测场景，例如智能制造、智慧城市等。

📄 摘要（原文）

Decision-making in building energy systems critically depends on the predictive accuracy of relevant time-series models. In scenarios lacking extensive data from a target building, foundation models (FMs) represent a promising technology that can leverage prior knowledge from vast and diverse pre-training datasets to construct accurate probabilistic predictors for use in decision-making tools. This paper investigates the applicability and fine-tuning strategies of time-series foundation models (TSFMs) in building energy forecasting. We analyze both full fine-tuning and parameter-efficient fine-tuning approaches, particularly low-rank adaptation (LoRA), by using real-world data from a commercial net-zero energy building to capture signals such as room occupancy, carbon emissions, plug loads, and HVAC energy consumption. Our analysis reveals that the zero-shot predictive performance of TSFMs is generally suboptimal. To address this shortcoming, we demonstrate that employing either full fine-tuning or parameter-efficient fine-tuning significantly enhances forecasting accuracy, even with limited historical data. Notably, fine-tuning with low-rank adaptation (LoRA) substantially reduces computational costs without sacrificing accuracy. Furthermore, fine-tuned TSFMs consistently outperform state-of-the-art deep forecasting models (e.g., temporal fusion transformers) in accuracy, robustness, and generalization across varying building zones and seasonal conditions. These results underline the efficacy of TSFMs for practical, data-constrained building energy management systems, enabling improved decision-making in pursuit of energy efficiency and sustainability.