Towards benchmarking Western Bluebird detection in the wild

📄 arXiv: 2610.07802v1 📥 PDF

作者: Estela Monserrat Arriaga Santana, Julian Rosas Scull, Ibeth P. Alarcón, Bibiana Montoya, Aylin Sosa Mejía, Hugo Jair Escalante

分类: cs.CV

发布日期: 2026-10-06

备注: 15 pages, 4 figures, 10 tables

💡 一句话要点

提出新基准数据集以解决西部蓝鸟检测挑战

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 鸟类检测 数据集构建 生态监测 深度学习 计算机视觉 模型评估 小物体检测

📋 核心要点

  1. 鸟类监测面临的主要挑战包括物体小、背景杂乱和光照变化等，现有方法难以有效应对。
  2. 本文提出了一个新的基准数据集，包含6000多张西部蓝鸟的高分辨率图像，以支持检测和分割研究。
  3. 实验结果显示，监督检测器在性能上优于开放词汇模型，微调后YOLO-World与监督方法的竞争力显著提升。

📝 摘要（中文）

在自然环境中监测鸟类面临诸多挑战，包括鸟类体型较小、背景杂乱、光照变化及观察者视角等。此外，大规模、真实的数据集稀缺，限制了对鸟类行为模式的理解。为此，本文引入了一个新的基准数据集，包含超过6000张来自41个录制会话的西部蓝鸟（Sialia Mexicana）标注图像。该数据集提供高分辨率（4K）图像，鸟类在图像中占据的面积较小。我们评估了监督检测器、零样本和微调设置下的开放词汇模型以及分割方法。结果表明，监督检测器整体上最为可靠，Faster R-CNN在检测mAP上表现最佳，而RT-DETR在精确率-召回率权衡上表现最佳。开放词汇模型在零样本设置下表现较差，但微调后显著提升，YOLO-World与监督方法竞争，取得最高精确率、F1-score和mAP@0.5。分割方面，监督方法显著优于Grounded-SAM和SAM 3，Mask R-CNN在mask mAP上表现最佳，而YOLOv8-Seg提供最佳精确率和最快推理速度。诊断分析显示，失败原因不仅与物体大小有关，还与明显尺度、亮度、对比度、杂乱、模糊、拥挤及录制会话变化等因素相关。整体结果强调了在杂乱生态场景中零样本鸟类检测的困难，并强调了小物体场景下领域适应的重要性。

🔬 方法详解

问题定义：本文旨在解决在自然环境中检测西部蓝鸟的困难，现有方法在小物体检测、背景复杂性和光照变化等方面存在显著不足。

核心思路：通过构建一个包含丰富标注的高分辨率数据集，结合多种检测和分割模型，评估其在真实场景中的表现，探索如何提高小物体的检测精度。

技术框架：研究采用了监督检测器和开放词汇模型，分别在零样本和微调设置下进行评估，同时引入分割方法进行对比，整体流程包括数据集构建、模型训练和性能评估。

关键创新：本文的主要创新在于提供了一个大规模的真实世界鸟类检测数据集，并系统评估了不同模型在该数据集上的表现，特别是对小物体的检测能力。

关键设计：在模型训练中，采用了Faster R-CNN和YOLO-World等先进网络结构，设置了适当的损失函数以优化检测精度，同时对开放词汇模型进行了微调以提升其在特定任务上的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Faster R-CNN在检测mAP上达到了最高值，而YOLO-World在微调后取得了最佳的精确率、F1-score和mAP@0.5，显著提升了开放词汇模型的性能。分割方面，Mask R-CNN在mask mAP上表现最佳，YOLOv8-Seg则在推理速度上领先。

🎯 应用场景

该研究的潜在应用领域包括生态监测、野生动物保护和生物多样性研究。通过提供高质量的数据集和有效的检测方法，可以帮助研究人员更好地理解鸟类行为和生态系统的动态变化，进而支持环境保护和管理决策。

📄 摘要（原文）

Bird monitoring in natural environments is challenging due to the small size of some species of birds relative to the scene, background clutter, variability in illumination, and the observers' viewpoint. Progress is further limited by the scarcity of large-scale, realistic datasets, which are essential for understanding behavioral patterns. To address this gap, we introduce a new benchmark dataset for the detection and segmentation of Western bluebirds (Sialia Mexicana), comprising over 6,000 labeled images from 41 recording sessions. The dataset features high-resolution (4K) in-the-wild images in which birds occupy only a small fraction of the image. We evaluated supervised detectors, open-vocabulary models under zero-shot and fine-tuned settings, and segmentation approaches. Supervised detectors remain the most reliable overall, with Faster R-CNN achieving the highest detection mAP and RT-DETR offering the best precision-recall trade-off. Open-vocabulary models perform poorly in zero-shot settings; however, fine-tuning substantially improves their performance, with YOLO-World becoming competitive with supervised methods and achieving the highest precision, F1-score, and mAP@0.5. For segmentation, supervised methods significantly outperform Grounded-SAM and SAM 3: Mask R-CNN achieves the highest mask mAP, while YOLOv8-Seg provides the best precision and fastest inference. A diagnostic analysis further shows that failures are not explained by object size alone, but by a combination of apparent scale, brightness, contrast, clutter, blur, crowding, and recording-session variation. Overall, our findings highlight the difficulty of zero-shot bird detection in cluttered ecological scenes and underscore the importance of domain adaptation in small-object settings.