Do LLM-derived text features improve electricity price forecasts beyond document activity? Evidence from Australia's National Electricity Market

📄 arXiv: 2610.32379v1 📥 PDF

作者: Fanxing Ning, Jianguo Zhu

分类: eess.SY

发布日期: 2026-10-23

备注: 27 pages, 4 figures, 12 tables. Code and data: https://github.com/ningfanxing-sys/nem-llm-text-activity

💡 一句话要点

利用LLM衍生文本特征提升澳大利亚电价预测准确性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 电价预测 大型语言模型 特征提取 LightGBM 市场分析 机器学习 数据驱动

📋 核心要点

  1. 现有电价预测方法未能充分利用文本数据，导致预测准确性不足。
  2. 本文提出在无文本模型中加入文档计数和提取失败计数，以提升电价预测性能。
  3. 实验结果表明，LLM特征在电价预测中相较于无文本模型有显著提升，尤其在通知数据上。

📝 摘要（中文）

大型语言模型（LLMs）能够将市场通知和新闻转化为电价预测的特征。这些特征不仅记录文档的到达时间，还记录提取失败的情况，因此与无文本模型的比较不仅反映内容，还反映文档活动。本文在无文本的LightGBM模型中加入相同文档的计数和失败提取的计数，并在不需要额外LLM请求的情况下进行评估。使用gpt-6-luna作为提取器，本文对澳大利亚电价进行了预测，结果显示，新闻的计数 alone 降低了3.0%的平均绝对误差（MAE），而通知的LLM表示则在计数基础上进一步降低了0.14-0.52%的MAE。

🔬 方法详解

问题定义：本文旨在解决电价预测中未充分利用文本数据的问题，现有方法往往忽视文档活动对预测的影响。

核心思路：通过将文档计数和提取失败计数纳入无文本的LightGBM模型，评估LLM衍生特征对电价预测的贡献，避免额外的LLM请求。

技术框架：整体流程包括文档提取、特征构建和模型训练三个主要阶段。首先使用gpt-6-luna提取文本特征，然后将计数特征与LLM表示结合，最后训练LightGBM模型进行电价预测。

关键创新：本文的创新在于将文档活动的计数与LLM特征结合，提供了一种新的评估基准，能够更全面地反映文本对预测的贡献。

关键设计：模型中使用的关键参数包括文档计数的累积方式和窗口设置，损失函数采用均方误差（MSE），确保模型在训练过程中能够有效学习文本特征的影响。

📊 实验亮点

实验结果显示，新闻数据的计数 alone 降低了3.0%的平均绝对误差（MAE），而在通知数据中，两个LLM表示在计数基础上进一步降低了0.14-0.52%的MAE。这表明LLM特征在电价预测中具有显著的提升效果。

🎯 应用场景

该研究的潜在应用领域包括电力市场分析、金融预测和智能决策支持系统。通过提升电价预测的准确性，能够帮助电力运营商和投资者更好地制定策略，优化资源配置，降低运营风险，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) can turn market notices and news into features for electricity price forecasting. Such features also record when documents arrive and whether their extraction failed, so a gain measured against a model without text can reflect document activity as well as content. We add the counts of the same documents and of their failed extractions to a no-text LightGBM model and measure each LLM representation against this activity reference, which needs no additional LLM requests. With gpt-6-luna as the extractor, we forecast Australian electricity prices from operator notices (5-30 minutes ahead) and WattClarity news (day-ahead) after the extractor's documented knowledge cutoff, averaging forecasts over three training seeds. For news, the counts alone lower mean absolute error (MAE) by 3.0%, most of the 3.6% reduction that the better LLM representation achieves relative to the no-text model; its increment beyond the counts is not significant. For notices, two of the three LLM representations lower MAE beyond the counts, by 0.14-0.21% and 0.45-0.52%, whether the counts are cumulative or cover recent windows, whereas the third shows no significant reduction. Time-shifted placebos give mixed evidence on whether these gains require text aligned with the target. Benchmarks using the operator's pre-dispatch forecasts (notices) or price history alone (news) are more accurate than all these text models. Gains against the no-text model and the activity reference differ in sign at individual seeds and, for notices with cumulative counts, in seed-averaged forecasts. Text gains should be reported against both references.