AquaMonitor: A multimodal multi-view image sequence dataset for real-life aquatic invertebrate biodiversity monitoring
作者: Mikko Impiö, Philipp M. Rehsen, Tiina Laamanen, Arne J. Beermann, Florian Leese, Jenni Raitoharju
分类: cs.CV
发布日期: 2025-05-28
💡 一句话要点
AquaMonitor：用于水生无脊椎动物生物多样性监测的多模态多视角图像序列数据集
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 水生无脊椎动物 生物多样性监测 多模态数据集 计算机视觉 环境监测
📋 核心要点
- 现有物种识别数据集缺乏标准化采集协议，且缺少针对水生无脊椎动物的数据集，限制了相关研究。
- AquaMonitor数据集通过标准化采集和多模态数据，为水生无脊椎动物的自动识别提供了基础。
- 论文定义了三个基准任务，并提供了基线结果，为后续研究提供了评估标准和参考。
📝 摘要（中文）
本文介绍了AquaMonitor数据集，这是首个大型水生无脊椎动物计算机视觉数据集，数据来源于常规环境监测。虽然已经存在一些大型物种识别数据集，但它们很少使用标准化的采集协议收集，而且没有数据集专注于水生无脊椎动物，这类生物的采集尤其费力。对于AquaMonitor，我们在实际限制允许的情况下，对两年监测中的所有样本进行了成像。该数据集能够评估用于实际监测目的的自动化识别方法，使用具有实际挑战性和无偏的设置。该数据集包含来自43189个样本的270万张图像，1358个样本的DNA序列，以及1494个样本的干重和尺寸测量数据，使其成为迄今为止最大的生物多视角和多模态数据集之一。我们定义了三个基准任务并为此提供了强大的基线：1）监测基准，反映了实际部署的挑战，如开放集识别、分布偏移和极端类别不平衡；2）分类基准，遵循标准的细粒度视觉分类设置；3）少样本基准，针对来自非常细粒度类别的只有少量训练样本的类别。在监测基准上的改进可以直接转化为水生生物多样性监测的改进，而水生生物多样性监测是许多国家定期立法水质评估的重要组成部分。
🔬 方法详解
问题定义：论文旨在解决水生无脊椎动物生物多样性监测中，物种识别困难且缺乏高质量数据集的问题。现有物种识别数据集通常缺乏标准化的采集流程，且没有专门针对水生无脊椎动物的数据集，导致现有方法难以直接应用于实际的水环境监测场景。
核心思路：论文的核心思路是构建一个大规模、多模态的水生无脊椎动物图像数据集，并基于此数据集定义多个具有挑战性的基准任务，从而推动相关算法的开发和应用。通过提供真实场景下的数据，解决开放集识别、分布偏移和类别不平衡等实际问题。
技术框架：AquaMonitor数据集包含图像数据、DNA序列数据以及干重和尺寸测量数据。论文基于此数据集定义了三个基准任务：监测基准（模拟真实监测场景）、分类基准（标准的细粒度视觉分类）和少样本基准（针对数据稀缺的类别）。同时，论文为每个基准任务提供了相应的基线模型。
关键创新：该数据集是首个大规模、多模态的水生无脊椎动物数据集，数据采集过程遵循标准化的环境监测流程，更贴近实际应用场景。此外，论文定义的监测基准任务考虑了开放集识别、分布偏移和类别不平衡等实际挑战，更具实用价值。
关键设计：数据集包含270万张图像，覆盖43189个样本，并为部分样本提供了DNA序列、干重和尺寸测量数据。监测基准任务旨在模拟真实环境监测场景，因此数据集的类别分布呈现极端不平衡状态。论文未详细说明基线模型的具体参数设置和网络结构，但提供了可供参考的实现代码。
🖼️ 关键图片
📊 实验亮点
AquaMonitor数据集包含270万张图像，覆盖43189个样本，是目前最大的水生无脊椎动物图像数据集。论文定义了三个基准任务，并提供了基线模型，为后续研究提供了参考。监测基准任务模拟了真实环境监测场景，更具实用价值。该数据集的发布将促进水生生物多样性监测领域的自动化和智能化发展。
🎯 应用场景
该研究成果可直接应用于水生生物多样性监测，辅助水质评估和环境保护工作。通过自动化识别水生无脊椎动物，可以降低人工监测成本，提高监测效率，并为生态环境研究提供数据支持。未来，该数据集可用于开发更智能化的水质监测系统，实现对水环境的实时监控和预警。
📄 摘要（原文）
This paper presents the AquaMonitor dataset, the first large computer vision dataset of aquatic invertebrates collected during routine environmental monitoring. While several large species identification datasets exist, they are rarely collected using standardized collection protocols, and none focus on aquatic invertebrates, which are particularly laborious to collect. For AquaMonitor, we imaged all specimens from two years of monitoring whenever imaging was possible given practical limitations. The dataset enables the evaluation of automated identification methods for real-life monitoring purposes using a realistically challenging and unbiased setup. The dataset has 2.7M images from 43,189 specimens, DNA sequences for 1358 specimens, and dry mass and size measurements for 1494 specimens, making it also one of the largest biological multi-view and multimodal datasets to date. We define three benchmark tasks and provide strong baselines for these: 1) Monitoring benchmark, reflecting real-life deployment challenges such as open-set recognition, distribution shift, and extreme class imbalance, 2) Classification benchmark, which follows a standard fine-grained visual categorization setup, and 3) Few-shot benchmark, which targets classes with only few training examples from very fine-grained categories. Advancements on the Monitoring benchmark can directly translate to improvement of aquatic biodiversity monitoring, which is an important component of regular legislative water quality assessment in many countries.