Parameter-Efficient Adaptation of Time Series Foundation Models for Electrical Load Forecasting

📄 arXiv: 2610.28200v1 📥 PDF

作者: Aliullah, Julian Oelhaf, Edouard Fouché, Jessica Deuschel, Christian Bergler, Andreas Maier, Siming Bayer

分类: cs.LG, cs.AI

发布日期: 2026-10-20

备注: Accepted for presentation at the IEEE Power & Energy Student Summit (PESS 2026), Karlsruhe, Germany. 6 pages, 4 figures, 1 table

💡 一句话要点

提出低秩适应方法以提高电力负荷预测的效率与准确性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 电力负荷预测 时间序列模型 低秩适应 模型微调 机器学习 智能电网 预训练模型

📋 核心要点

  1. 现有电力负荷预测方法成本高，针对特定目标的模型开发效率低下，难以实现准确预测。
  2. 本文提出低秩适应（LoRA）方法，通过更新少量参数来提高电力负荷预测的准确性和效率。
  3. 实验结果显示，LoRA在MOIRAI Large上平均降低了7.5%的NMAE，且在多个电力负荷聚合层次上优于传统基线模型。

📝 摘要（中文）

准确的电力负荷预测对电力系统的运行至关重要，但针对特定目标模型的重复开发成本高昂。时间序列基础模型（TSFMs）提供了可重用的预训练骨干，但多领域预训练可能无法完全捕捉负荷特征。本文比较了预训练推理、全量微调和低秩适应（LoRA）在四个电力负荷聚合层次上的预测准确性和适应效率。MOIRAI 1.0 Large作为主要骨干，Chronos-2用于评估结果的迁移性。评估涵盖了分布内（ID）和分布外（OOD）设置，结果表明，LoRA在更新约1%模型参数的情况下，平均降低了7.5%的标准化平均绝对误差（NMAE），并保持了大部分全量微调的改进效果。

🔬 方法详解

问题定义：本文旨在解决电力负荷预测中针对特定目标模型开发的高成本和低效率问题。现有方法无法充分利用预训练模型的优势，导致预测准确性不足。

核心思路：论文提出低秩适应（LoRA）方法，通过仅更新模型的一小部分参数来实现高效的适应性调整，从而在保持预测准确性的同时，显著降低计算资源的消耗。

技术框架：整体架构包括预训练模型的选择（MOIRAI 1.0 Large和Chronos-2），适应阶段的参数更新，以及在分布内和分布外设置下的性能评估。主要模块包括模型选择、适应方法实施和性能评估。

关键创新：LoRA方法的核心创新在于其低秩参数更新策略，使得在更新约1%模型参数的情况下，仍能获得接近全量微调的性能提升。这一方法与传统的全量微调方法在参数更新效率上有本质区别。

关键设计：在实验中，LoRA使用了秩为16的低秩适应策略，更新了314.6万个参数，采用标准化平均绝对误差（NMAE）作为评估指标，确保了适应过程的有效性和准确性。实验还考虑了不同聚合层次的适应效果。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，使用LoRA方法在MOIRAI Large上平均降低了7.5%的标准化平均绝对误差（NMAE），并且在多个电力负荷聚合层次上超越了传统的季节性基线和XGBoost模型，展现出良好的准确性与效率平衡。

🎯 应用场景

该研究的潜在应用领域包括电力系统的负荷预测、智能电网管理和能源调度等。通过提高预测准确性和效率，能够帮助电力公司优化资源配置，降低运营成本，提升电力供应的可靠性和稳定性。未来，该方法还可扩展至其他时间序列预测任务，具有广泛的应用价值。

📄 摘要（原文）

Accurate electrical load forecasting supports power-system operation across countries, regions, cities, and buildings, but repeated development of target-specific models is costly. Time series foundation models (TSFMs) provide reusable pretrained backbones, although multi-domain pretraining may not fully capture load-specific characteristics. This paper compares pretrained inference, full fine-tuning, and low-rank adaptation (LoRA) in terms of forecasting accuracy and adaptation efficiency across four electrical load aggregation levels. MOIRAI 1.0 Large serves as the primary backbone, while Chronos-2 assesses whether the findings transfer across model families. The evaluation covers both in-distribution (ID) and out-of-distribution (OOD) settings and examines whether compact adaptation provides consistent gains over strong pretrained checkpoints. Pretrained foundation models outperform the implemented seasonal naive and XGBoost baselines across the evaluated aggregation levels. On MOIRAI Large, rank-16 LoRA reduces normalized mean absolute error (NMAE) by 7.5% on average while updating 3.146 million parameters, about 1% of the model, and retains most of the improvement from full fine-tuning. Chronos-2 achieves lower pretrained NMAE than MOIRAI but benefits less from adaptation. OOD results show that adaptation benefits vary by target, with the clearest gains for the local-area series and several buildings. Overall, LoRA provides a favorable accuracy-efficiency trade-off when adaptation yields a meaningful gain over a strong pretrained checkpoint.