Electrolyzers-HSI: Close-Range Multi-Scene Hyperspectral Imaging Benchmark Dataset

📄 arXiv: 2505.20507v2 📥 PDF

作者: Elias Arbash, Ahmed Jamal Afifi, Ymane Belahsen, Margret Fuchs, Pedram Ghamisi, Paul Scheunders, Richard Gloaguen

分类: cs.CV, cs.AI

发布日期: 2025-05-26 (更新: 2025-06-05)

DOI: 10.1038/s41597-025-06279-9

🔗 代码/项目: GITHUB

💡 一句话要点

提出Electrolyzers-HSI高光谱图像数据集，加速电解槽材料回收与分类研究。

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 高光谱图像 多模态数据 电解槽材料 材料分类 深度学习 Transformer 循环经济 电子废物回收

📋 核心要点

  1. 现有材料检测系统难以满足自动化、快速和准确的需求，阻碍了循环经济的发展。
  2. Electrolyzers-HSI数据集通过提供高分辨率RGB图像和高光谱数据，实现对电解槽材料的非侵入式光谱分析。
  3. 论文评估了多种机器学习和深度学习方法，并分析了Transformer架构在材料识别中的效率瓶颈。

📝 摘要（中文）

为了应对可持续回收的全球挑战，本研究提出了Electrolyzers-HSI，这是一个新型多模态基准数据集，旨在通过精确的电解槽材料分类来加速关键原材料的回收。该数据集包含55个共配准的高分辨率RGB图像和高光谱图像（HSI）数据立方体，光谱范围为400-2500 nm，包含超过420万个像素向量，其中424,169个被标记。这支持了对粉碎的电解槽样品进行非侵入式光谱分析，从而支持定量和定性的材料分类以及光谱特性研究。我们评估了一系列基线机器学习（ML）方法以及最先进的基于Transformer的深度学习（DL）架构，包括Vision Transformer、SpectralFormer和多模态融合Transformer，以研究在材料识别中部署Transformer时进一步效率优化的架构瓶颈。我们实施了零样本检测技术和像素级预测的多数投票，以建立对象级分类的鲁棒性。Electrolyzers-HSI数据集和随附的代码库可在https://github.com/hifexplo/Electrolyzers-HSI和https://rodare.hzdr.de/record/3668公开获取，遵循FAIR数据原则，支持可重复的研究，并促进智能和可持续电子废物回收解决方案的更广泛采用。

🔬 方法详解

问题定义：论文旨在解决电解槽材料的精确分类问题，以促进关键原材料的回收利用。现有方法在自动化、速度和精度方面存在不足，难以满足大规模回收的需求。此外，缺乏公开可用的、高质量的多模态数据集也限制了相关算法的开发和评估。

核心思路：论文的核心思路是构建一个包含RGB图像和高光谱图像的多模态数据集，并利用该数据集训练和评估各种机器学习和深度学习模型，从而实现对电解槽材料的精确分类。通过提供高质量的标注数据，促进相关算法的开发和应用。

技术框架：该研究主要包含以下几个阶段：1) 数据采集：采集高分辨率RGB图像和高光谱图像数据，覆盖400-2500nm光谱范围。2) 数据预处理：对数据进行配准、校正等预处理操作。3) 数据标注：对数据进行像素级别的材料标注。4) 模型训练与评估：使用各种机器学习和深度学习模型（包括Vision Transformer、SpectralFormer和多模态融合Transformer）进行训练和评估。5) 零样本检测与多数投票：实施零样本检测技术和像素级预测的多数投票，以提高对象级分类的鲁棒性。

关键创新：该论文的主要创新在于构建了一个新的多模态基准数据集Electrolyzers-HSI，该数据集包含高质量的RGB图像和高光谱图像，并提供了像素级别的材料标注。该数据集的公开可用性将促进电解槽材料分类领域的研究和发展。此外，论文还对多种机器学习和深度学习模型进行了评估，并分析了Transformer架构在材料识别中的效率瓶颈。

关键设计：数据集包含55个共配准的高分辨率RGB图像和高光谱图像数据立方体，光谱范围为400-2500 nm。论文评估了多种模型，包括Vision Transformer, SpectralFormer, 和 Multimodal Fusion Transformer。 论文还采用了零样本检测技术和多数投票策略来提高分类的鲁棒性。数据集遵循FAIR数据原则，保证数据的可查找性、可访问性、互操作性和可重用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文构建了包含超过420万像素向量的Electrolyzers-HSI数据集，其中424,169个像素被标记。通过对Vision Transformer、SpectralFormer等模型的评估，分析了Transformer架构在材料识别中的效率瓶颈。实验结果表明，该数据集能够有效支持电解槽材料的分类研究。

🎯 应用场景

该研究成果可应用于智能电子废物回收领域，实现对电解槽材料的自动化、快速和精确分类，从而提高关键原材料的回收效率。这有助于推动循环经济的发展，减少环境污染，并促进可持续发展。未来，该技术还可扩展到其他材料的回收利用。

📄 摘要（原文）

The global challenge of sustainable recycling demands automated, fast, and accurate, state-of-the-art (SOTA) material detection systems that act as a bedrock for a circular economy. Democratizing access to these cutting-edge solutions that enable real-time waste analysis is essential for scaling up recycling efforts and fostering the Green Deal. In response, we introduce \textbf{Electrolyzers-HSI}, a novel multimodal benchmark dataset designed to accelerate the recovery of critical raw materials through accurate electrolyzer materials classification. The dataset comprises 55 co-registered high-resolution RGB images and hyperspectral imaging (HSI) data cubes spanning the 400--2500 nm spectral range, yielding over 4.2 million pixel vectors and 424,169 labeled ones. This enables non-invasive spectral analysis of shredded electrolyzer samples, supporting quantitative and qualitative material classification and spectral properties investigation. We evaluate a suite of baseline machine learning (ML) methods alongside SOTA transformer-based deep learning (DL) architectures, including Vision Transformer, SpectralFormer, and the Multimodal Fusion Transformer, to investigate architectural bottlenecks for further efficiency optimisation when deploying transformers in material identification. We implement zero-shot detection techniques and majority voting across pixel-level predictions to establish object-level classification robustness. In adherence to the FAIR data principles, the electrolyzers-HSI dataset and accompanying codebase are openly available at https://github.com/hifexplo/Electrolyzers-HSI and https://rodare.hzdr.de/record/3668, supporting reproducible research and facilitating the broader adoption of smart and sustainable e-waste recycling solutions.