Find Rhinos without Finding Rhinos: Active Learning with Multimodal Imagery of South African Rhino Habitats
作者: Lucia Gordon, Nikhil Behari, Samuel Collier, Elizabeth Bondi-Kelly, Jackson A. Killian, Catherine Ressijac, Peter Boucher, Andrew Davies, Milind Tambe
分类: cs.CV, cs.AI, cs.LG
发布日期: 2024-09-26
备注: 9 pages, 9 figures, IJCAI 2023 Special Track on AI for Good
期刊: Proceedings of the Thirty-Second International Joint Conference on Artificial Intelligence. AI for Good. Pages 5977-5985. 2023
💡 一句话要点
提出MultimodAL主动学习系统，利用多模态遥感影像高效识别犀牛粪堆，助力犀牛保护。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 犀牛保护 主动学习 多模态遥感影像 粪堆检测 类别不平衡
📋 核心要点
- 犀牛保护面临追踪困难，传统方法成本高昂且效率低下，亟需更有效的监测手段。
- 论文提出基于多模态遥感影像和主动学习的犀牛粪堆检测方法，间接反映犀牛活动规律。
- MultimodAL系统在极度不平衡数据集上表现出色，大幅减少标注工作量，并揭示粪堆聚集分布。
📝 摘要（中文）
由于非洲盗猎危机，犀牛面临灭绝风险。监测犀牛活动轨迹对其保护至关重要，但犀牛行踪隐秘，难以追踪。本文提出一种新颖方法，即绘制犀牛公共排便场所（粪堆）的分布图，从而获取犀牛空间行为信息，用于反盗猎、管理和重引入工作。本文首次构建分类器，利用遥感热成像、RGB和LiDAR影像，在被动和主动学习设置下检测犀牛粪堆位置。由于数据集类别极度不平衡，现有主动学习方法表现不佳，因此我们设计了MultimodAL主动学习系统，采用排序技术和多模态数据，仅使用94%更少的标签，就实现了与被动学习模型相媲美的性能。该方法在类似规模的数据集上使用时，可节省超过76小时的标注时间。研究发现犀牛粪堆并非随机分布，而是聚集分布。因此，应将巡护员部署在高密度粪堆区域，以加强反盗猎工作。
🔬 方法详解
问题定义：论文旨在解决犀牛保护中，直接追踪犀牛成本高、效率低的问题。现有方法依赖人工巡逻或昂贵的GPS追踪器，难以大规模应用。此外，由于犀牛行踪不定，即使使用遥感影像，人工标注也耗时耗力，且数据集中目标类别（粪堆）占比极低，导致传统机器学习方法效果不佳。
核心思路：论文的核心思路是“不直接找犀牛，而是找犀牛的粪堆”。通过识别犀牛的公共排便场所（粪堆），间接推断犀牛的活动范围和规律。同时，利用主动学习策略，选择最具信息量的样本进行标注，从而在少量标注数据下训练出高性能的分类器。多模态数据融合则可以提供更全面的信息，提高识别精度。
技术框架：整体框架包括数据采集、预处理、特征提取、分类器训练和主动学习循环。首先，利用无人机或卫星获取热成像、RGB和LiDAR等多模态遥感影像。然后，对影像进行预处理，包括几何校正、辐射校正等。接着，提取影像的特征，例如纹理特征、形状特征、光谱特征等。然后，使用这些特征训练分类器，例如支持向量机（SVM）或深度神经网络。最后，利用主动学习算法，选择置信度低的样本进行人工标注，并将标注后的样本加入训练集，迭代训练分类器。
关键创新：论文的关键创新在于MultimodAL主动学习系统。该系统针对类别极度不平衡的数据集，设计了一种基于排序的主动学习策略。传统主动学习方法通常选择置信度最低的样本，但在不平衡数据集上，这些样本往往是负样本。MultimodAL系统首先对所有未标注样本的置信度进行排序，然后选择排名靠前的样本进行标注，从而更有效地选择信息量大的正样本。此外，MultimodAL系统还充分利用了多模态数据，通过融合不同模态的信息，提高了识别精度。
关键设计：MultimodAL主动学习系统使用基于排序的不确定性采样策略。具体来说，对于每个未标注样本，系统计算其属于正类的概率，并按照概率值从大到小排序。然后，选择排名靠前的N个样本进行人工标注。N是一个超参数，需要根据数据集的规模和类别不平衡程度进行调整。此外，系统还使用了多模态特征融合技术，将不同模态的特征进行拼接或加权融合，以提高识别精度。分类器可以使用SVM或深度神经网络，损失函数可以使用交叉熵损失或Focal Loss等。
📊 实验亮点
实验结果表明，MultimodAL主动学习系统在犀牛粪堆检测任务上表现出色，仅使用6%的标注数据，就达到了与使用全部数据训练的被动学习模型相媲美的性能。与传统主动学习方法相比，MultimodAL系统能够更有效地选择信息量大的样本进行标注，从而显著减少标注工作量。具体来说，使用MultimodAL系统可以节省超过76小时的标注时间。
🎯 应用场景
该研究成果可应用于非洲犀牛保护区，帮助管理人员更有效地部署巡护力量，打击盗猎活动。此外，该方法还可推广到其他濒危动物的保护工作中，例如亚洲象、老虎等。通过绘制动物栖息地地图，可以更好地了解动物的活动规律，从而制定更有效的保护策略。该技术也可用于环境监测和资源管理等领域。
📄 摘要（原文）
Much of Earth's charismatic megafauna is endangered by human activities, particularly the rhino, which is at risk of extinction due to the poaching crisis in Africa. Monitoring rhinos' movement is crucial to their protection but has unfortunately proven difficult because rhinos are elusive. Therefore, instead of tracking rhinos, we propose the novel approach of mapping communal defecation sites, called middens, which give information about rhinos' spatial behavior valuable to anti-poaching, management, and reintroduction efforts. This paper provides the first-ever mapping of rhino midden locations by building classifiers to detect them using remotely sensed thermal, RGB, and LiDAR imagery in passive and active learning settings. As existing active learning methods perform poorly due to the extreme class imbalance in our dataset, we design MultimodAL, an active learning system employing a ranking technique and multimodality to achieve competitive performance with passive learning models with 94% fewer labels. Our methods could therefore save over 76 hours in labeling time when used on a similarly-sized dataset. Unexpectedly, our midden map reveals that rhino middens are not randomly distributed throughout the landscape; rather, they are clustered. Consequently, rangers should be targeted at areas with high midden densities to strengthen anti-poaching efforts, in line with UN Target 15.7.