BirdSAT: Cross-View Contrastive Masked Autoencoders for Bird Species Classification and Mapping

📄 arXiv: 2310.19168v1 📥 PDF

作者: Srikumar Sastry, Subash Khanal, Aayush Dhakal, Di Huang, Nathan Jacobs

分类: cs.CV

发布日期: 2023-10-29

备注: Accepted at WACV 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出BirdSAT框架以解决鸟类物种分类与生态映射问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自监督学习 对比学习 掩码图像建模 鸟类分类 生态映射 跨模态检索 视觉变换器 细粒度分类

📋 核心要点

  1. 现有方法在鸟类物种分类和生态映射中面临细粒度特征学习不足和地理信息利用不充分的挑战。
  2. 本文提出的BirdSAT框架结合了对比学习和掩码图像建模，利用元数据增强嵌入空间，提升了模型的分类能力。
  3. 实验结果表明，预训练模型在iNAT-2021的细粒度视觉分类任务中达到了最新的性能，并在跨模态检索中表现优异。

📝 摘要（中文）

本文提出了一种元数据感知的自监督学习框架BirdSAT，旨在实现全球鸟类物种的细粒度分类和生态映射。该框架结合了对比学习和掩码图像建模两种自监督学习策略，同时利用鸟类地面图像的元数据丰富嵌入空间。我们在一个新颖的跨视角全球鸟类物种数据集上分别训练了单模态和跨模态的视觉变换器（ViT）。通过在细粒度视觉分类和跨模态检索两个下游任务上的评估，展示了模型学习到的细粒度和地理条件特征。预训练模型在iNAT-2021鸟类的FGVC任务中达到了最新的性能，并在CUB-200-2011和NABirds数据集的迁移学习中表现出色。此外，模型在跨模态检索中的优异表现使得在任何地理区域创建物种分布图成为可能。

🔬 方法详解

问题定义：本文旨在解决鸟类物种的细粒度分类和生态映射问题。现有方法在处理地面图像和卫星图像的结合时，往往忽视了元数据的利用，导致特征学习不足。

核心思路：BirdSAT框架通过结合对比学习和掩码图像建模，利用鸟类图像的元数据（如位置和时间）来丰富嵌入空间，从而提升模型的分类和检索能力。

技术框架：该框架包括两个主要模块：单模态ViT和跨模态ViT，分别处理地面图像和卫星图像。模型通过自监督学习策略进行训练，利用元数据进行特征增强。

关键创新：最重要的创新在于将对比学习与掩码图像建模相结合，并引入元数据，显著提升了模型在细粒度分类和跨模态检索中的表现。与现有方法相比，BirdSAT能够更好地捕捉地理条件下的细粒度特征。

关键设计：在模型设计中，采用了特定的损失函数以平衡对比学习和掩码建模的目标，同时在网络结构上使用了视觉变换器（ViT）以提高特征提取能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，预训练模型在iNAT-2021的细粒度视觉分类任务中达到了最新的性能，具体表现为在FGVC任务中取得了SotA成绩。此外，在CUB-200-2011和NABirds数据集的迁移学习中，模型也展现了显著的提升，跨模态检索性能同样令人印象深刻。

🎯 应用场景

BirdSAT框架具有广泛的应用潜力，特别是在生态学研究、鸟类保护和生物多样性监测等领域。通过创建物种分布图，研究人员可以更好地理解鸟类的栖息地需求和生态变化，从而为保护措施提供数据支持。未来，该框架还可以扩展到其他物种的分类和生态映射任务中。

📄 摘要（原文）

We propose a metadata-aware self-supervised learning~(SSL)~framework useful for fine-grained classification and ecological mapping of bird species around the world. Our framework unifies two SSL strategies: Contrastive Learning~(CL) and Masked Image Modeling~(MIM), while also enriching the embedding space with metadata available with ground-level imagery of birds. We separately train uni-modal and cross-modal ViT on a novel cross-view global bird species dataset containing ground-level imagery, metadata (location, time), and corresponding satellite imagery. We demonstrate that our models learn fine-grained and geographically conditioned features of birds, by evaluating on two downstream tasks: fine-grained visual classification~(FGVC) and cross-modal retrieval. Pre-trained models learned using our framework achieve SotA performance on FGVC of iNAT-2021 birds and in transfer learning settings for CUB-200-2011 and NABirds datasets. Moreover, the impressive cross-modal retrieval performance of our model enables the creation of species distribution maps across any geographic region. The dataset and source code will be released at https://github.com/mvrl/BirdSAT}.