ORCA: Object Recognition and Comprehension for Archiving Marine Species
作者: Yuk-Kwan Wong, Haixin Liang, Zeyu Ma, Yiwei Chen, Ziqiang Zheng, Rinaldi Gotama, Pascal Sebastian, Lauren D. Sparks, Sai-Kit Yeung
分类: cs.CV
发布日期: 2025-12-24
备注: Accepted by The IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 2026
💡 一句话要点
ORCA：提出用于海洋物种存档的目标识别与理解多模态基准
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 海洋生物识别 多模态数据集 目标检测 实例描述 视觉定位 计算机视觉 生态监测
📋 核心要点
- 现有海洋视觉理解受限于训练数据不足，缺乏系统性的任务定义，难以将领域挑战与计算机视觉任务对齐。
- ORCA通过构建包含细粒度视觉和文本标注的多模态基准，旨在促进海洋物种识别与理解的研究。
- 实验评估了18个先进模型在目标检测、实例描述和视觉定位任务上的性能，揭示了现有方法在海洋领域的挑战。
📝 摘要（中文）
为了促进海洋生态系统的监测和保护，实现自动且可扩展的生物调查，本文提出了ORCA，一个用于海洋研究的多模态基准。该基准包含来自478个物种的14647张图像，带有42217个边界框标注和22321个专家验证的实例描述。该数据集提供了细粒度的视觉和文本标注，捕捉了不同海洋物种的形态学属性。为了促进方法上的进步，我们在三个任务上评估了18个最先进的模型：目标检测（闭集和开放词汇）、实例描述和视觉定位。结果突出了关键挑战，包括物种多样性、形态学重叠和专业领域需求，强调了海洋理解的难度。ORCA因此建立了一个全面的基准，以推进海洋领域的研究。
🔬 方法详解
问题定义：论文旨在解决海洋物种识别和理解中数据匮乏和任务定义不明确的问题。现有方法难以有效应对海洋物种的多样性、形态相似性和领域专业性需求，导致模型性能受限。
核心思路：论文的核心思路是构建一个大规模、多模态的海洋生物数据集ORCA，包含细粒度的视觉和文本标注，从而为训练和评估海洋视觉理解模型提供可靠的基准。通过定义明确的任务，促进领域特定模型的开发。
技术框架：ORCA数据集包含图像、边界框标注和实例描述。研究人员在ORCA上评估了18个最先进的模型，涵盖目标检测（闭集和开放词汇）、实例描述和视觉定位三个任务。评估结果用于分析现有模型在海洋领域的表现，并识别未来的研究方向。
关键创新：ORCA的关键创新在于其作为首个大规模、多模态的海洋生物基准数据集，提供了细粒度的视觉和文本标注，并针对海洋领域的特殊挑战进行了任务定义。这使得研究人员能够更有效地开发和评估针对海洋环境的视觉理解模型。
关键设计：数据集包含14647张图像，覆盖478个物种，带有42217个边界框标注和22321个专家验证的实例描述。标注信息捕捉了物种的形态学属性，为模型学习提供了丰富的语义信息。评估任务包括闭集和开放词汇目标检测，旨在考察模型对已知和未知物种的识别能力。
🖼️ 关键图片
📊 实验亮点
论文在ORCA数据集上评估了18个最先进的模型，结果表明现有模型在海洋物种识别和理解方面仍面临诸多挑战，尤其是在处理物种多样性、形态学重叠和领域专业性需求时。这些结果为未来的研究方向提供了重要的参考，例如，如何设计更有效的模型来处理细粒度的物种差异，以及如何利用多模态信息来提升识别准确率。
🎯 应用场景
ORCA数据集和基准的建立，为海洋生态监测、生物多样性保护、水产养殖等领域提供了重要的技术支撑。通过提升海洋物种识别和理解的准确性，可以更有效地进行生物调查、环境评估和资源管理，为可持续发展做出贡献。未来，ORCA可以扩展到其他海洋环境和生物类型，进一步提升其应用价值。
📄 摘要（原文）
Marine visual understanding is essential for monitoring and protecting marine ecosystems, enabling automatic and scalable biological surveys. However, progress is hindered by limited training data and the lack of a systematic task formulation that aligns domain-specific marine challenges with well-defined computer vision tasks, thereby limiting effective model application. To address this gap, we present ORCA, a multi-modal benchmark for marine research comprising 14,647 images from 478 species, with 42,217 bounding box annotations and 22,321 expert-verified instance captions. The dataset provides fine-grained visual and textual annotations that capture morphology-oriented attributes across diverse marine species. To catalyze methodological advances, we evaluate 18 state-of-the-art models on three tasks: object detection (closed-set and open-vocabulary), instance captioning, and visual grounding. Results highlight key challenges, including species diversity, morphological overlap, and specialized domain demands, underscoring the difficulty of marine understanding. ORCA thus establishes a comprehensive benchmark to advance research in marine domain. Project Page: http://orca.hkustvgd.com/.