A Time Series Dataset of NIR Spectra and RGB and NIR-HSI Images of the Barley Germination Process

📄 arXiv: 2504.16658v1 📥 PDF

作者: Ole-Christian Galbo Engstrøm, Erik Schou Dreier, Birthe Møller Jespersen, Kim Steenstrup Pedersen

分类: cs.CV

发布日期: 2025-04-23

💡 一句话要点

发布大麦发芽过程的近红外光谱、RGB和近红外高光谱图像时间序列数据集

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 大麦发芽 近红外光谱 高光谱成像 RGB图像 时间序列分析

📋 核心要点

  1. 缺乏公开的大麦发芽过程多模态数据集，限制了相关算法的开发和验证。
  2. 论文构建了一个包含RGB图像、近红外高光谱图像和近红外光谱的大麦发芽时间序列数据集。
  3. 该数据集包含分割掩码和发芽标签，便于研究人员进行图像分析、光谱分析和多模态融合分析。

📝 摘要（中文）

本文提供了一个开源数据集，包含2242个独立麦芽大麦籽粒的RGB和近红外高光谱成像(NIR-HSI)图像，以及相关的分割掩码和近红外光谱。我们对每个籽粒在接触水分之前以及接触水分后连续五天，每24小时进行一次成像。在每次图像采集期间，每个大麦籽粒都被标记为已发芽或未发芽。大麦籽粒以黑色滤纸作为背景进行成像，这有利于基于强度阈值的直接分割，例如通过Otsu方法。该数据集有助于使用RGB图像分析、近红外光谱分析、近红外高光谱分析或它们的组合，对大麦籽粒的发芽时间进行时间序列分析。

🔬 方法详解

问题定义：现有的大麦发芽研究通常依赖于人工观察或小规模实验，缺乏大规模、多模态的数据集。这限制了利用机器学习和深度学习方法进行自动化、高通量分析的能力。此外，不同模态数据（RGB图像、近红外光谱、高光谱图像）的融合分析也面临挑战。

核心思路：论文的核心思路是构建一个高质量、多模态的大麦发芽过程时间序列数据集，为研究人员提供一个统一的平台，用于开发和评估各种分析方法。通过提供RGB图像、近红外高光谱图像和近红外光谱，以及对应的分割掩码和发芽标签，该数据集能够支持多种分析任务，包括图像分割、发芽预测、时间序列分析和多模态融合。

技术框架：该数据集的构建流程主要包括以下几个步骤：1) 选取麦芽大麦籽粒；2) 在接触水分之前以及接触水分后连续五天，每24小时对每个籽粒进行RGB和近红外高光谱成像；3) 使用黑色滤纸作为背景，方便进行基于强度阈值的图像分割；4) 对每个籽粒进行发芽状态的标注；5) 提取每个籽粒的近红外光谱。

关键创新：该数据集的关键创新在于其多模态特性和时间序列特性。它不仅包含了RGB图像，还包含了近红外高光谱图像和近红外光谱，为研究人员提供了更丰富的信息来源。此外，该数据集还记录了每个籽粒在不同时间点的状态，为时间序列分析提供了可能。

关键设计：在数据采集过程中，使用黑色滤纸作为背景，简化了图像分割的难度。每个籽粒都被标记为已发芽或未发芽，为监督学习提供了标签。数据集包含了2242个独立麦芽大麦籽粒，保证了数据的规模和多样性。成像频率为每24小时一次，持续五天，捕捉了发芽过程的关键阶段。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该数据集包含2242个独立麦芽大麦籽粒的RGB图像、近红外高光谱图像和近红外光谱，以及对应的分割掩码和发芽标签。数据采集覆盖了发芽过程的多个时间点，为时间序列分析提供了基础。黑色滤纸背景简化了图像分割，提高了数据处理效率。该数据集为大麦发芽研究提供了一个高质量、多模态的数据资源。

🎯 应用场景

该数据集可应用于农业、食品科学等领域。例如，可用于开发自动化的大麦发芽检测系统，提高麦芽生产效率和质量控制水平。此外，该数据集还可用于研究不同品种大麦的发芽特性，为育种提供参考。未来，该数据集可扩展到其他谷物或种子，促进相关领域的研究。

📄 摘要（原文）

We provide an open-source dataset of RGB and NIR-HSI (near-infrared hyperspectral imaging) images with associated segmentation masks and NIR spectra of 2242 individual malting barley kernels. We imaged every kernel pre-exposure to moisture and every 24 hours after exposure to moisture for five consecutive days. Every barley kernel was labeled as germinated or not germinated during each image acquisition. The barley kernels were imaged with black filter paper as the background, facilitating straight-forward intensity threshold-based segmentation, e.g., by Otsu's method. This dataset facilitates time series analysis of germination time for barley kernels using either RGB image analysis, NIR spectral analysis, NIR-HSI analysis, or a combination hereof.