An interpretable framework using foundation models for fish sex identification
作者: Zheng Miao, Tien-Chieh Hung
分类: cs.CV, cs.AI
发布日期: 2026-02-22
🔗 代码/项目: GITHUB
💡 一句话要点
提出FishProtoNet，利用原型网络和基础模型实现对濒危鱼类三角小银鱼的非侵入式性别鉴定。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 鱼类性别鉴定 原型网络 视觉基础模型 非侵入式方法 濒危物种保护
📋 核心要点
- 现有鱼类性别鉴定方法具有侵入性，对濒危鱼类构成威胁，亟需非侵入式解决方案。
- FishProtoNet利用视觉基础模型提取鱼类ROI，结合原型网络实现可解释的性别鉴定。
- 实验表明，FishProtoNet在三角小银鱼的特定生命周期阶段性别鉴定中取得了良好效果。
📝 摘要（中文）
鱼类性别鉴定对于水产养殖中的育种和管理策略至关重要，特别是对于濒危物种。现有方法大多具有侵入性或会造成鱼类紧迫感，可能导致额外的死亡，对受威胁或濒危鱼类种群构成严重风险。为了解决这些挑战，我们提出FishProtoNet，这是一个鲁棒的、基于计算机视觉的非侵入式框架，用于鉴定三角小银鱼（加州特有的一种濒危鱼类）整个生命周期的性别。与传统的深度学习方法不同，FishProtoNet通过学习到的原型表示提供可解释性，同时通过利用基础模型来减少背景噪声的影响，从而提高鲁棒性。具体来说，FishProtoNet框架包含三个关键组件：使用视觉基础模型提取鱼类感兴趣区域（ROI），从鱼类ROI提取特征，以及基于可解释原型网络的鱼类性别鉴定。FishProtoNet在早期产卵期和产卵后阶段的三角小银鱼性别鉴定中表现出强大的性能，准确率分别为74.40%和81.16%，相应的F1分数分别为74.27%和79.43%。相比之下，当前计算机视觉方法在亚成体阶段的三角小银鱼性别鉴定仍然具有挑战性，这可能是由于未成熟鱼类的形态差异不太明显。
🔬 方法详解
问题定义：论文旨在解决濒危鱼类三角小银鱼的非侵入式性别鉴定问题。现有方法通常具有侵入性，会对鱼类造成压力甚至死亡，不适用于濒危物种的保护。传统深度学习方法缺乏可解释性，且易受背景噪声干扰。
核心思路：论文的核心思路是利用视觉基础模型提取鱼类感兴趣区域（ROI），减少背景噪声的影响，然后使用原型网络进行性别鉴定。原型网络通过学习具有代表性的原型，提供可解释的决策依据。这种设计旨在提高模型的鲁棒性和可解释性，同时避免对鱼类造成伤害。
技术框架：FishProtoNet框架主要包含三个阶段：1) 使用视觉基础模型提取鱼类ROI；2) 从鱼类ROI中提取特征；3) 基于可解释原型网络进行鱼类性别鉴定。视觉基础模型用于定位鱼类个体，减少背景干扰。提取的特征输入到原型网络中，网络学习一组原型，每个原型代表一个特定的性别类别。最终，模型根据输入样本与原型的相似度进行性别预测。
关键创新：该方法的关键创新在于结合了视觉基础模型和原型网络。视觉基础模型提高了ROI提取的准确性和鲁棒性，原型网络提供了可解释的决策依据。与传统的黑盒深度学习模型相比，FishProtoNet能够解释其预测结果，这对于生物学研究和保护工作至关重要。
关键设计：论文中使用了预训练的视觉基础模型（具体模型未知）进行ROI提取。原型网络的具体结构和训练细节（如损失函数、优化器等）在论文中没有详细说明，属于未知信息。原型数量和原型更新策略是原型网络设计的关键参数，但论文中没有明确提及。
📊 实验亮点
FishProtoNet在三角小银鱼的早期产卵期和产卵后阶段性别鉴定中取得了较好的效果，准确率分别达到74.40%和81.16%，F1分数分别为74.27%和79.43%。虽然在亚成体阶段的鉴定仍然具有挑战性，但这些结果表明FishProtoNet在特定生命周期阶段具有良好的性能。
🎯 应用场景
该研究成果可应用于水产养殖、濒危鱼类保护和生态监测等领域。通过非侵入式性别鉴定，可以优化育种策略，提高繁殖效率，并减少对濒危鱼类种群的干扰。此外，该方法还可以扩展到其他鱼类或其他生物物种的性别鉴定，具有广泛的应用前景。
📄 摘要（原文）
Accurate sex identification in fish is vital for optimizing breeding and management strategies in aquaculture, particularly for species at the risk of extinction. However, most existing methods are invasive or stressful and may cause additional mortality, posing severe risks to threatened or endangered fish populations. To address these challenges, we propose FishProtoNet, a robust, non-invasive computer vision-based framework for sex identification of delta smelt (Hypomesus transpacificus), an endangered fish species native to California, across its full life cycle. Unlike the traditional deep learning methods, FishProtoNet provides interpretability through learned prototype representations while improving robustness by leveraging foundation models to reduce the influence of background noise. Specifically, the FishProtoNet framework consists of three key components: fish regions of interest (ROIs) extraction using visual foundation model, feature extraction from fish ROIs and fish sex identification based on an interpretable prototype network. FishProtoNet demonstrates strong performance in delta smelt sex identification during early spawning and post-spawning stages, achieving the accuracies of 74.40% and 81.16% and corresponding F1 scores of 74.27% and 79.43% respectively. In contrast, delta smelt sex identification at the subadult stage remains challenging for current computer vision methods, likely due to less pronounced morphological differences in immature fish. The source code of FishProtoNet is publicly available at: https://github.com/zhengmiao1/Fish_sex_identification