Automated Species Identification in Camera Trap Images for Wildlife Conservation

📄 arXiv: 2609.35420v1 📥 PDF

作者: Nowshin Amin, Nafisa Tabassum Oyshi, Tahmid Abrar Zidan, Miftaun Noor, Md. Abrar Rahman Shafin

分类: cs.CV

发布日期: 2026-09-28

备注: 52 pages. B.Sc. thesis, Department of Computer Science and Engineering, Brac University, June 2025

💡 一句话要点

提出自注意力机制以解决低对比度相机捕获图像中的物种识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 物种识别 深度学习 自注意力机制 野生动物保护 低对比度图像 多模态模型 特征提取 零样本检测

📋 核心要点

  1. 现有深度学习模型在低对比度相机捕获图像中小动物的检测能力有限，导致物种识别效果不佳。
  2. 提出了一种集成自注意力机制的端到端框架，结合Swin-BiFPN主干网络和LLaVA v1.5多模态模型，提升特征提取能力。
  3. 实验结果表明，该框架在低对比度图像和小动物检测中显著提高了准确性，并具备零样本检测能力。

📝 摘要（中文）

野生动物保护涉及保护、保存和管理野生动物及其栖息地。随着人类发展、气候变化及其他不可持续实践的加速，野生动物保护的需求日益增加。尽管深度学习模型在物种识别方面取得了显著进展，但在低对比度捕获图像中有效检测小动物仍面临重大挑战。本文提出了一种新颖的端到端框架，整合自注意力机制，以应对这些限制。该架构采用Swin-BiFPN主干网络集成在Faster RCNN检测网络中，并结合由LLaVA v1.5（13B）多模态大语言模型驱动的视觉语义提取模块。该检测框架能够在具有挑战性的捕获图像中提取关键特征，表现出一致的高结果和强大的泛化能力。此外，视觉语义提取模块提供零样本检测能力，并提供动物行为的有价值见解，进一步支持保护工作。

🔬 方法详解

问题定义：本文旨在解决在低对比度相机捕获图像中有效识别小动物的挑战。现有方法在特征提取能力上存在不足，导致识别效果不理想。

核心思路：论文提出的解决方案是构建一个集成自注意力机制的深度学习框架，通过增强特征提取能力来改善小动物的检测效果。这样的设计旨在克服低对比度图像中的信息损失问题。

技术框架：整体架构包括Swin-BiFPN主干网络与Faster RCNN检测网络的结合，此外还引入了LLaVA v1.5多模态大语言模型驱动的视觉语义提取模块。该框架通过多个阶段实现特征提取和物种识别。

关键创新：最重要的技术创新在于自注意力机制的引入，使得模型能够在低对比度图像中提取更为丰富的特征信息，与传统方法相比，显著提升了检测能力。

关键设计：模型采用了Swin-BiFPN作为主干网络，结合Faster RCNN进行目标检测。损失函数设计上，结合了传统的检测损失与语义提取损失，以优化整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的框架在低对比度捕获图像中的检测准确率显著提高，尤其是在小动物识别方面。与基线模型相比，检测精度提升了约20%，并且在零样本检测任务中表现出色，展现出强大的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括野生动物监测、生态研究和保护生物学。通过提高低对比度图像中小动物的识别能力，能够更有效地支持野生动物保护工作，促进生态环境的可持续管理。未来，该技术还可扩展到其他领域，如农业监测和环境保护。

📄 摘要（原文）

Wildlife conservation involves protecting, preserving, and managing wildlife species and their habitats. With today's rapid pace of human development, climate change, and other unsustainable practices, the need for wildlife conservation has heightened. Despite significant progress in species identification using deep-learning models, significant challenges still remain in effectively detecting small animals in low-contrast trap images due to limited feature extraction capabilities. This thesis presents a novel end-to-end framework integrating a self-attention mechanism to address these limitations. The proposed architecture involves a Swin-BiFPN backbone integrated in a Faster RCNN detection network, coupled with a visual semantic extraction module driven by the LLaVA v1.5 (13B) multimodal large language model. The detection framework, capable of extracting crucial features in challenging trap images, demonstrates consistently high results and robust generalization capabilities. Furthermore, the visual semantic extraction module provides zero-shot detection capability, as well as providing valuable insights and emergent cues of the animal's behavior, further supporting the conservation effort. The MLLM evaluation was conducted using both traditional NLP metrics (precision, recall, F1, and SBERT similarity) and subjective scoring by LLM-based judges (GPT-4.1 and GROK 3.0), across five MLLMs, demonstrating the model's strong performance in visual description generation. The proposed framework improves detection accuracy across low-contrast trap images and small animals while also demonstrating zero-shot detection capability leveraging the MLLM.