Distributed JEPA: A Self-Supervised Framework for Energy Forecasting

📄 arXiv: 2609.17029v1 📥 PDF

作者: Liana Toderean, Tudor Cioara, Vasilis Michalakopoulos, Efstathios Sarantinopoulos, Ionut Anghel, Elissaios Sarmas

分类: cs.LG, cs.AI

发布日期: 2026-09-15

💡 一句话要点

提出分布式JEPA框架以解决能源预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 能源预测 自监督学习 异构数据 时间序列分析 深度学习

📋 核心要点

  1. 现有的能源预测方法依赖于特定任务的监督，限制了其在不同资产间的迁移能力和时间动态捕捉能力。
  2. 本文提出的JEPA框架通过自监督学习，从异构能源时间序列中预测潜在表示，整合时间和上下文信息。
  3. 实验结果表明，JEPA在建筑能源数据上表现与Transformer相当，并在多个消费者集群中实现了更高的R²值。

📝 摘要（中文）

传统的能源预测方案依赖于特定任务的监督和能源资产表示，限制了其可迁移性和捕捉异构资产间一般时间动态的能力。为此，本文提出了一种分布式联合嵌入预测架构（JEPA），用于从异构能源时间序列中进行自监督学习。该框架在共享嵌入空间中预测掩蔽时间段的潜在表示，同时整合时间观察和上下文信息。为防止表示崩溃，训练结合了潜在空间预测目标与协方差和时间方差正则化。在数据降解场景下对能源消费和生成数据集进行了评估，并与Transformer预测基线进行了比较。学习到的表示保持稳定，JEPA在建筑能源数据上的表现与Transformer相当，在3/5消费者集群中具有更高的R²，并在9/10未见光伏数据上超越基线。

🔬 方法详解

问题定义：本文旨在解决传统能源预测方法在异构资产间的迁移性不足和时间动态捕捉能力有限的问题。现有方法通常依赖于特定任务的监督，导致其在不同场景下的适用性差。

核心思路：JEPA框架通过自监督学习，从异构能源时间序列中提取潜在表示，利用共享嵌入空间整合时间观察和上下文信息，提升模型的泛化能力。

技术框架：JEPA的整体架构包括数据预处理、潜在表示预测、正则化模块和模型训练阶段。通过对掩蔽时间段的预测，模型能够学习到更为丰富的时间动态特征。

关键创新：JEPA的主要创新在于结合了潜在空间预测目标与协方差和时间方差正则化，有效防止了表示崩溃，提升了模型的稳定性和泛化能力。

关键设计：在模型设计中，采用了特定的损失函数以优化潜在表示，同时设置了正则化参数以控制模型的复杂度，确保学习到的表示在不同数据集上的一致性。通过这些设计，JEPA在面对缺失数据时表现出更强的鲁棒性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

JEPA在建筑能源数据上的表现与Transformer相当，在3/5消费者集群中实现了更高的R²值，并在9/10未见光伏数据上超越基线，R²值范围为0.73-0.88，相较于基线的<0.45，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能电网管理、可再生能源预测和能源消费优化等。通过提高能源预测的准确性和鲁棒性，JEPA框架能够为能源管理系统提供更可靠的决策支持，推动可持续能源的发展。

📄 摘要（原文）

Traditional energy forecasting solutions rely on task-specific supervision and energy asset representations, limiting transferability and the ability to capture general temporal dynamics across heterogeneous assets. We address this by proposing a distributed Joint Embedding Predictive Architecture (JEPA) for self-supervised learning from heterogeneous energy time-series. The framework predicts latent representations of masked temporal segments while integrating temporal observations and contextual information within a shared embedding space. To prevent representation collapse, training combines a latent-space predictive objective with covariance and temporal variance regularization. The evaluation was conducted on energy consumption and generation datasets under data-degradation scenarios and compared with a Transformer forecasting baseline. The learned representations remained stable (cosine similarity $\approx 0.98$; effective rank 185-235). JEPA achieved performance comparable to a Transformer on building energy data, higher $R^2$ in 3/5 consumer clusters, and outperformed the baseline on 9/10 unseen PVs ($R^2$=0.73-0.88 vs. <0.45), while showing greater robustness to missing data.