FishNet++: Analyzing the capabilities of Multimodal Large Language Models in marine biology

📄 arXiv: 2509.25564v1 📥 PDF

作者: Faizan Farooq Khan, Yousef Radwan, Eslam Abdelrahman, Abdulwahab Felemban, Aymen Mir, Nico K. Michiels, Andrew J. Temple, Michael L. Berumen, Mohamed Elhoseiny

分类: cs.CV

发布日期: 2025-09-29

备注: 3 figures 8 tables

💡 一句话要点

FishNet++：评估多模态大语言模型在海洋生物学中的能力，并构建大规模多模态基准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 大语言模型 海洋生物学 鱼类识别 基准数据集 计算机视觉 视觉-语言模型

📋 核心要点

  1. 现有MLLM在海洋生物学，特别是鱼类物种识别方面表现不足，无法满足生态监测需求。
  2. 提出FishNet++基准数据集，包含文本描述、关键点标注和边界框，旨在提升模型对海洋生物的理解。
  3. 实验表明，FishNet++能够有效促进专业视觉-语言模型的发展，推动水生科学研究。

📝 摘要（中文）

多模态大语言模型（MLLMs）已展现出令人印象深刻的跨领域能力，但它们在海洋生物学等专业科学领域的熟练程度仍未得到充分探索。本文系统地评估了最先进的MLLMs，揭示了它们在执行鱼类物种细粒度识别方面的显著局限性，最佳开源模型的准确率低于10%。这项任务对于监测人为压力下的海洋生态系统至关重要。为了解决这一差距，并调查这些失败是否源于缺乏领域知识，我们引入了FishNet++，这是一个大规模的多模态基准。FishNet++通过35,133个用于多模态学习的文本描述、706,426个用于形态学研究的关键点注释和119,399个用于检测的边界框，显著扩展了现有资源。通过提供这套全面的注释，我们的工作促进了专业视觉-语言模型的开发和评估，从而能够推进水生科学。

🔬 方法详解

问题定义：论文旨在解决多模态大语言模型（MLLMs）在海洋生物学领域，特别是鱼类物种细粒度识别方面的不足。现有方法在处理专业领域的视觉-语言任务时，由于缺乏足够的领域知识和训练数据，导致识别准确率低，无法满足实际应用需求。现有数据集规模小，标注信息不足，难以支撑MLLM的训练和评估。

核心思路：论文的核心思路是构建一个大规模、多模态的基准数据集FishNet++，该数据集包含丰富的文本描述、关键点标注和边界框信息，从而为MLLMs提供充足的领域知识和训练数据。通过在FishNet++上训练和评估MLLMs，可以有效提升其在海洋生物学领域的识别能力。

技术框架：FishNet++数据集的构建流程主要包括数据收集、数据清洗、数据标注和数据验证四个阶段。数据收集阶段从多个来源收集鱼类图像和相关文本描述。数据清洗阶段去除重复、错误和低质量的数据。数据标注阶段对图像进行关键点标注和边界框标注，并对文本描述进行整理和补充。数据验证阶段由专家对标注结果进行审核，确保标注的准确性和一致性。

关键创新：论文的关键创新在于构建了一个大规模、多模态的海洋生物学基准数据集FishNet++。该数据集不仅包含大量的图像和文本数据，还提供了丰富的关键点标注和边界框信息，从而为MLLMs提供了更全面的领域知识。与现有数据集相比，FishNet++在数据规模、标注质量和模态多样性方面都具有显著优势。

关键设计：FishNet++数据集包含35,133个文本描述，706,426个关键点标注和119,399个边界框。关键点标注主要用于形态学研究，边界框标注主要用于目标检测。数据集涵盖了多种鱼类物种，并考虑了不同光照、角度和背景条件下的图像。数据集的标注过程采用了多轮审核机制，以确保标注的准确性和一致性。

📊 实验亮点

实验结果表明，现有开源MLLM在FishNet++数据集上的鱼类物种识别准确率低于10%，凸显了领域知识的缺乏。FishNet++的发布旨在促进针对水生科学的专业视觉-语言模型的开发和评估，为后续研究奠定基础。该数据集的规模和标注质量为模型性能的提升提供了保障。

🎯 应用场景

该研究成果可应用于海洋生态监测、渔业资源管理、水产养殖等领域。通过训练具有强大鱼类识别能力的MLLM，可以实现对海洋生态系统的智能化监测和管理，为保护海洋生物多样性提供技术支持。未来，该研究还可以扩展到其他生物领域，构建更广泛的生物多样性监测系统。

📄 摘要（原文）

Multimodal large language models (MLLMs) have demonstrated impressive cross-domain capabilities, yet their proficiency in specialized scientific fields like marine biology remains underexplored. In this work, we systematically evaluate state-of-the-art MLLMs and reveal significant limitations in their ability to perform fine-grained recognition of fish species, with the best open-source models achieving less than 10\% accuracy. This task is critical for monitoring marine ecosystems under anthropogenic pressure. To address this gap and investigate whether these failures stem from a lack of domain knowledge, we introduce FishNet++, a large-scale, multimodal benchmark. FishNet++ significantly extends existing resources with 35,133 textual descriptions for multimodal learning, 706,426 key-point annotations for morphological studies, and 119,399 bounding boxes for detection. By providing this comprehensive suite of annotations, our work facilitates the development and evaluation of specialized vision-language models capable of advancing aquatic science.