Self-Supervised Representation Learning: From Spectral Foundation Models to Auroral Emission Spectra

📄 arXiv: 2609.31206v1 📥 PDF

作者: Matthieu Le Lain, Gaël Cessateur, Sébastien Lefèvre

分类: cs.LG, physics.space-ph

发布日期: 2026-09-25

备注: 5 pages, 1 figure, 3 tables. Submitted to IEEE ICASSP 2027

💡 一句话要点

提出自监督学习方法以提升极光光谱分类精度

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自监督学习 极光光谱 视觉变换器 掩蔽自编码器 特征学习 分类性能 天文学 空间科学

📋 核心要点

  1. 现有的极光光谱分类方法依赖于专家标注，标注数量有限，导致未标注数据无法充分利用。
  2. 本文提出了一种基于1D视觉变换器的自监督学习方法，通过掩蔽自编码器在未标注光谱上进行预训练，提升了模型的特征学习能力。
  3. 实验结果显示，微调后的模型在分类性能上显著优于传统监督学习方法，mAP达到0.870，且在使用更少标签的情况下仍表现出色。

📝 摘要（中文）

极光光谱仪如Skibotn极光光谱仪（ASIS）记录了数十万条发射光谱，但只有几百条可以由专家标注。为利用未标注数据，本文在223,000条未标注光谱上预训练了一种1D视觉变换器，采用掩蔽自编码器。该模型在无标签情况下恢复了物理学家用于诊断沉降粒子的发射线强度比，并在一个线性探测器下的分类性能与13个专家设计的特征相当。经过微调后，该模型在基准测试中超越了之前的监督极光分类器，达到0.870的mAP，并且在仅使用10%标签的情况下，性能提升了0.159。

🔬 方法详解

问题定义：本文旨在解决极光光谱数据中标注稀缺的问题，现有方法依赖于专家标注，导致未标注数据无法有效利用，影响分类性能。

核心思路：论文提出通过自监督学习，利用未标注的光谱数据进行预训练，采用掩蔽自编码器来学习有效的特征表示，从而提高模型在分类任务中的表现。

技术框架：整体架构包括数据预处理、掩蔽自编码器的预训练阶段和微调阶段。预训练阶段使用223,000条未标注光谱，微调阶段则在有限的标注数据上进行，以优化分类性能。

关键创新：最重要的创新在于将自监督学习应用于极光光谱数据，成功地在无标签情况下恢复了物理学家所需的发射线强度比，并在分类任务中超越了传统的监督学习方法。

关键设计：模型采用1D视觉变换器结构，损失函数设计为适应掩蔽自编码器的特性，关键参数设置经过实验验证，以确保模型在有限标签下的最佳性能。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，经过微调的模型在基准测试中达到了88.5的宏观平均精度（macro-AP），相比于之前的监督分类器提升了10.7个百分点。此外，模型在仅使用10%标签的情况下，性能提升幅度达到0.159，显示出自监督学习的有效性。

🎯 应用场景

该研究的潜在应用领域包括天文学、空间科学和环境监测等。通过提升极光光谱的分类精度，能够更好地理解极光现象及其对地球环境的影响，未来可能推动相关领域的研究进展和技术应用。

📄 摘要（原文）

Auroral spectrographs such as the Auroral Spectrograph In Skibotn (ASIS) record hundreds of thousands of emission spectra, but only a few hundred can be labelled by an expert. To exploit the rest, we pretrain a 1D Vision Transformer with a masked autoencoder on 223,000 unlabelled spectra. Without labels, its representation recovers the emission-line intensity ratios that physicists use to diagnose the precipitating particles (R^2 0.91 vs. 0.77 for an untrained control) and, under one linear probe, classifies as well as 13 features designed by experts. Fine-tuned, the model outperforms the previous supervised auroral classifier on its own benchmark (macro-AP 88.5 vs. 77.8), reaches 0.870 mAP, and exceeds the same architecture trained from scratch by +0.159 with 10% of the labels; attribution shows that it uses both N2+ bands. Could an existing pretrained model replace it? Two astronomical spectral foundation models and a time-series model transfer according to their spectral window: SpectraFM, trained in the infrared, falls below the untrained control, whereas SpecFormer, trained in the optical, approaches in-domain pretraining without reaching it.