BIOSCAN-5M: A Multimodal Dataset for Insect Biodiversity

📄 arXiv: 2406.12723v6 📥 PDF

作者: Zahra Gharaee, Scott C. Lowe, ZeMing Gong, Pablo Millan Arias, Nicholas Pellegrino, Austin T. Wang, Joakim Bruslund Haurum, Iuliia Zarubiieva, Lila Kari, Dirk Steinke, Graham W. Taylor, Paul Fieguth, Angel X. Chang

分类: cs.LG, cs.AI, cs.CV, q-bio.PE

发布日期: 2024-06-18 (更新: 2025-03-01)

期刊: NeurIPS 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出BIOSCAN-5M数据集以推动昆虫多样性研究

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 昆虫多样性 多模态数据 机器学习 数据集构建 生态监测 分类任务 聚类分析

📋 核心要点

  1. 现有的生物多样性数据集多为单一模态，缺乏综合性的多模态信息，限制了昆虫分类和聚类的准确性。
  2. 论文提出了BIOSCAN-5M数据集，整合了图像、DNA条形码及分类信息，设计了多项基准实验以验证多模态数据的有效性。
  3. 实验结果表明，利用多模态数据进行分类和聚类的准确性显著提高，尤其是在物种和属级分类任务中表现突出。

📝 摘要（中文）

本文介绍了BIOSCAN-5M昆虫数据集，旨在帮助机器学习社区理解和监测昆虫多样性。该数据集包含超过500万标本的多模态信息，显著扩展了现有的生物图像数据集，涵盖了分类标签、DNA条形码序列、地理信息等。论文提出了三项基准实验，展示了多模态数据对分类和聚类准确性的影响，验证了该数据集在物种和属级分类中的有效性。

🔬 方法详解

问题定义：本研究旨在解决现有昆虫多样性研究中数据单一、信息不足的问题，现有方法在分类和聚类准确性上存在明显不足。

核心思路：通过构建BIOSCAN-5M数据集，整合多种模态的信息（如图像、DNA条形码等），以提升分类和聚类的性能。设计多项基准实验来验证多模态数据的优势。

技术框架：整体架构包括数据收集、预处理、模型训练和评估四个主要阶段。首先收集多模态数据，然后进行数据清洗和标注，接着训练模型并进行性能评估。

关键创新：最重要的创新在于提出了一个多模态数据集，结合了图像、DNA条形码和分类信息，形成了一个共享的嵌入空间，显著提升了分类性能。

关键设计：在模型训练中，采用了掩码语言模型对DNA条形码进行预训练，并设计了对比学习框架，利用自监督学习提取特征嵌入，优化了损失函数以适应多模态数据的特性。

📊 实验亮点

实验结果显示，利用BIOSCAN-5M数据集进行物种和属级分类时，分类准确率显著提高，尤其在零样本迁移学习任务中，聚类效果优于传统方法，验证了多模态数据的有效性。

🎯 应用场景

该研究的潜在应用领域包括生态监测、生物多样性保护和农业害虫管理等。通过提供丰富的多模态数据，研究人员可以更有效地进行物种识别和生态系统分析，推动昆虫多样性研究的深入发展。

📄 摘要（原文）

As part of an ongoing worldwide effort to comprehend and monitor insect biodiversity, this paper presents the BIOSCAN-5M Insect dataset to the machine learning community and establish several benchmark tasks. BIOSCAN-5M is a comprehensive dataset containing multi-modal information for over 5 million insect specimens, and it significantly expands existing image-based biological datasets by including taxonomic labels, raw nucleotide barcode sequences, assigned barcode index numbers, geographical, and size information. We propose three benchmark experiments to demonstrate the impact of the multi-modal data types on the classification and clustering accuracy. First, we pretrain a masked language model on the DNA barcode sequences of the BIOSCAN-5M dataset, and demonstrate the impact of using this large reference library on species- and genus-level classification performance. Second, we propose a zero-shot transfer learning task applied to images and DNA barcodes to cluster feature embeddings obtained from self-supervised learning, to investigate whether meaningful clusters can be derived from these representation embeddings. Third, we benchmark multi-modality by performing contrastive learning on DNA barcodes, image data, and taxonomic information. This yields a general shared embedding space enabling taxonomic classification using multiple types of information and modalities. The code repository of the BIOSCAN-5M Insect dataset is available at https://github.com/bioscan-ml/BIOSCAN-5M.