Joint-Embedding Predictive Architecture for Solar PV Panel Fault Classification

📄 arXiv: 2607.09205v1 📥 PDF

作者: Seyyedhamid Azimidokht, Mehdi Monemi, Abdelhak Kharbouch, Farid Hamzehaghdam, Mehdi Rasti, Jamshid Aghaei, Emil Kurvinen

分类: eess.IV, cs.CV

发布日期: 2026-07-10

🔗 代码/项目: GITHUB

💡 一句话要点

提出JEFFNet以解决太阳能光伏面板故障分类问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 光伏故障分类 热红外成像 自监督学习 卷积神经网络 多分支架构 EfficientNet 参数效率 深度学习

📋 核心要点

  1. 现有的光伏故障分类方法面临类别不平衡和热差异微小等挑战，导致准确性不足。
  2. 本文提出JEFFNet，通过结合JEPA自监督学习和EfficientNetV2-S的监督特征提取，提升故障分类性能。
  3. JEFFNet在PVF-10和ISM数据集上表现优异，F1分数和准确率显著高于基线方法，同时参数量减少47.2%。

📝 摘要（中文）

随着太阳能光伏系统的快速扩展，可靠且可扩展的故障分类需求日益增加，手动检查在规模上变得不切实际。热红外成像提供了一种非接触式解决方案来识别光伏故障，但由于类别不平衡、纹理信息有限和微妙的热差异，准确分类仍然具有挑战性。本文研究了联合嵌入预测架构（JEPA）在热红外光伏故障分类中的适用性，并提出了JEFFNet（JEPA-EFFicientNet），这是一种多分支架构，结合了基于JEPA的自监督表示学习与基于EfficientNetV2-S的监督卷积特征提取。JEFFNet在两个公共热红外数据集PVF-10和InfraredSolarModules（ISM）上进行了评估，展示了其在多类和派生二分类（健康/故障）任务中的有效性。

🔬 方法详解

问题定义：本文旨在解决太阳能光伏面板故障分类中的准确性不足问题，现有方法在类别不平衡和热差异微小的情况下表现不佳。

核心思路：论文提出JEFFNet架构，结合自监督的JEPA表示学习与监督的EfficientNetV2-S特征提取，以实现互补特征学习，从而提高分类准确性。

技术框架：JEFFNet的整体架构包括多个分支，首先通过JEPA预训练的视觉变换器提取语义表示，然后与EfficientNetV2-S提取的卷积特征融合，形成最终的分类特征。

关键创新：JEFFNet的主要创新在于将自监督和监督学习相结合，利用JEPA的语义表示与EfficientNetV2-S的卷积特征互补，显著提高了故障分类的准确性和效率。

关键设计：JEFFNet使用了108.6M的参数，相较于GEPFNet的205.91M减少了47.2%。在损失函数和网络结构设计上，采用了适合多类和二分类任务的策略，以优化模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

JEFFNet在PVF-10数据集上实现了93.21的F1分数和94.33的准确率，在ISM数据集上也取得了72.60的F1分数和83.88的准确率。与基线方法相比，JEFFNet在性能上有显著提升，同时参数量大幅减少，显示出其高效性。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在太阳能光伏系统的维护和监测领域。通过实现高效的故障分类，JEFFNet能够帮助运营商及时发现和解决问题，从而提高光伏系统的可靠性和经济效益。未来，该技术还可扩展至其他类型的设备故障检测与分类。

📄 摘要（原文）

The rapid expansion of solar photovoltaic (PV) systems has increased the need for reliable and scalable fault classification, as manual inspection is impractical at scale. Thermal infrared (IR) imaging provides a non-contact solution for identifying PV faults; however, accurate classification remains challenging due to class imbalance, limited texture information, and subtle thermal differences. In this work, we investigate the applicability of Joint-Embedding Predictive Architecture (JEPA) for thermal IR PV fault classification across various scenarios and propose JEFFNet (JEPA-EFFicientNet), a multibranch architecture that combines JEPA-based self-supervised representation learning with EfficientNetV2-S-based supervised convolutional feature extraction. JEFFNet fuses semantic representations from a JEPA-pretrained Vision Transformer with convolutional features from EfficientNetV2-S, enabling complementary feature learning. JEFFNet is evaluated on two public thermal IR datasets, PVF-10 and InfraredSolarModules (ISM), for both multiclass and derived binary (healthy/faulty) classification. On PVF-10, JEFFNet achieves an F1-score of $93.21$ and an accuracy of $94.33$ in the 10-class task, and an F1-score of $97.53$ and an accuracy of $96.41$ in the derived 2-class task. On ISM, JEFFNet achieves an F1-score of $72.60$ and an accuracy of $83.88$ in the 12-class task, and an F1-score of $94.69$ and an accuracy of $94.78$ in the derived 2-class task. JEFFNet also uses only 108.6M parameters versus 205.91M for GEPFNet, a 47.2\% reduction. These results demonstrate that combining self-supervised semantic and supervised convolutional features provides an effective, parameter-efficient solution for thermal IR PV fault classification. The source code is publicly available at https://github.com/Azimi2kht/JEFFNet