StarEmbed: Benchmarking Time Series Foundation Models on Astronomical Observations of Variable Stars

📄 arXiv: 2510.06200v2 📥 PDF

作者: Weijian Li, Hong-Yu Chen, Nabeel Rehemtulla, Ved G. Shah, Dennis Wu, Dongho Kim, Qinjie Lin, Adam A. Miller, Han Liu

分类: astro-ph.SR, astro-ph.IM, cs.AI

发布日期: 2025-10-07 (更新: 2026-01-23)

💡 一句话要点

StarEmbed：天文学变星观测时间序列基础模型基准测试

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列基础模型 天文学 变星 光变曲线 基准测试

📋 核心要点

  1. 现有天文时间序列分析依赖于特定任务的监督学习管道，缺乏通用性和可扩展性，难以应对未来海量数据。
  2. StarEmbed提出一个天文学变星观测时间序列的基准测试，评估时间序列基础模型（TSFM）的零样本泛化能力。
  3. 实验表明，即使在非天文数据上训练的TSFM，也能在天文任务上超越传统方法，尤其在异常源检测方面表现出色。

📝 摘要（中文）

时间序列基础模型（TSFMs）正日益被广泛采用，成为高性能的通用时间序列表示学习器。尽管它们的训练语料库非常庞大，但却不包含天文时间序列数据。对恒星的观测会产生拍字节级的时间序列，这些序列具有独特的挑战，包括不规则采样和异方差性。我们推出了StarEmbed，这是第一个公共基准，用于对最先进的TSFMs在恒星时间序列观测（“光变曲线”）上进行严格和标准化的评估。我们在三个具有科学意义的下游任务上进行基准测试：无监督聚类、监督分类和异常源检测。StarEmbed整合了一个专家验证的标签目录，以及来自Zwicky瞬态设施的多变量光变曲线，产生了约4万条手工标记的光变曲线，分布在七个天体物理类别中。我们评估了三个TSFM（MOIRAI、Chronos、Chronos-Bolt）和一个领域特定的transformer（Astromer）的零样本表示能力，并与手工特征提取（天体物理学文献中长期存在的基线）进行了比较。结果表明，这些TSFM，特别是Chronos模型，它们在与天文观测完全不同的数据上进行训练，可以在某些任务中优于已建立的天体物理学特定基线，并有效地推广到全新的数据。特别是，TSFM在我们的异常源检测基准测试中提供了最先进的性能。通过第一个在天文时间序列数据上对TSFM进行基准测试，我们测试了它们泛化的极限，并推动了时域天文学的范式转变，即从使用特定于任务的、完全监督的管道转向采用通用基础模型表示，以分析即将到来的天文台的拍字节级数据集。

🔬 方法详解

问题定义：论文旨在解决天文学中变星观测时间序列的分析问题。现有的方法主要依赖于手工特征提取和特定任务的监督学习模型，这些方法泛化能力差，难以适应不同类型的天文数据，并且需要大量的人工标注。此外，即将到来的天文台将产生海量数据，传统方法难以有效处理。

核心思路：论文的核心思路是利用在通用时间序列数据上预训练的时间序列基础模型（TSFM），将其迁移到天文学变星观测时间序列的分析任务中。通过评估TSFM的零样本泛化能力，探索其在天文学领域的应用潜力。这种方法旨在减少对人工特征工程和大量标注数据的依赖，提高模型的通用性和可扩展性。

技术框架：StarEmbed基准测试包含以下几个主要组成部分：1) 数据集：包含来自Zwicky瞬态设施的多变量光变曲线，并附带专家验证的标签，涵盖七个天体物理类别，共约4万条光变曲线。2) 任务：包括无监督聚类、监督分类和异常源检测三个下游任务，涵盖了天文学中常见的分析需求。3) 模型：评估了三个TSFM（MOIRAI、Chronos、Chronos-Bolt）和一个领域特定的transformer（Astromer），并与手工特征提取方法进行比较。4) 评估指标：针对不同的任务，采用了相应的评估指标，如聚类准确率、分类准确率和异常检测的AUC。

关键创新：论文的关键创新在于首次将时间序列基础模型应用于天文学变星观测时间序列的分析，并构建了一个公开的基准测试StarEmbed，用于评估TSFM在天文学领域的性能。与现有方法相比，该方法减少了对人工特征工程和大量标注数据的依赖，提高了模型的通用性和可扩展性。此外，论文还发现，即使在非天文数据上训练的TSFM，也能在天文任务上取得良好的性能，这表明TSFM具有很强的泛化能力。

关键设计：论文的关键设计包括：1) 数据集的构建：StarEmbed数据集包含了来自Zwicky瞬态设施的多变量光变曲线，并附带专家验证的标签，保证了数据的质量和可靠性。2) 任务的选择：选择了无监督聚类、监督分类和异常源检测三个下游任务，涵盖了天文学中常见的分析需求。3) 模型的选择：评估了多个TSFM和一个领域特定的transformer，并与手工特征提取方法进行比较，保证了评估的全面性和客观性。4) 评估指标的选择：针对不同的任务，采用了相应的评估指标，保证了评估的准确性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在非天文数据上训练的Chronos模型在某些任务中优于天体物理学特定基线，尤其在异常源检测任务中表现出色，实现了最先进的性能。这证明了时间序列基础模型在天文学领域的泛化能力和应用潜力，为时域天文学研究提供了新的思路。

🎯 应用场景

该研究成果可应用于天文时域数据的自动分析与挖掘，例如变星分类、新奇天体发现、引力波事件电磁对应体搜寻等。通过利用预训练的时间序列基础模型，可以降低对人工标注数据的依赖，加速天文发现过程，并为未来大型天文观测项目的数据处理提供新的解决方案。

📄 摘要（原文）

Time series foundation models (TSFMs) are increasingly being adopted as highly-capable general-purpose time series representation learners. Although their training corpora are vast, they exclude astronomical time series data. Observations of stars produce peta-scale time series with unique challenges including irregular sampling and heteroskedasticity. We introduce StarEmbed, the first public benchmark for rigorous and standardized evaluation of state-of-the-art TSFMs on stellar time series observations (``light curves''). We benchmark on three scientifically-motivated downstream tasks: unsupervised clustering, supervised classification, and out-of-distribution source detection. StarEmbed integrates a catalog of expert-vetted labels with multi-variate light curves from the Zwicky Transient Facility, yielding ~40k hand-labeled light curves spread across seven astrophysical classes. We evaluate the zero-shot representation capabilities of three TSFMs (MOIRAI, Chronos, Chronos-Bolt) and a domain-specific transformer (Astromer) against handcrafted feature extraction, the long-standing baseline in the astrophysics literature. Our results demonstrate that these TSFMs, especially the Chronos models, which are trained on data completely unlike the astronomical observations, can outperform established astrophysics-specific baselines in some tasks and effectively generalize to entirely new data. In particular, TSFMs deliver state-of-the-art performance on our out-of-distribution source detection benchmark. With the first benchmark of TSFMs on astronomical time series data, we test the limits of their generalization and motivate a paradigm shift in time-domain astronomy from using task-specific, fully supervised pipelines toward adopting generic foundation model representations for the analysis of peta-scale datasets from forthcoming observatories.