SelvaMask: Segmenting Trees in Tropical Forests and Beyond
作者: Simon-Olivier Duguay, Hugo Baudchon, Etienne Laliberté, Helene Muller-Landau, Gonzalo Rivas-Torres, Arthur Ouaknine
分类: cs.CV
发布日期: 2026-02-02
备注: 22 pages, 8 figures
💡 一句话要点
SelvaMask：针对热带森林树木分割的新数据集与检测分割框架
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 树木分割 热带森林 视觉基础模型 深度学习 数据集 领域自适应
📋 核心要点
- 现有树冠分割方法在复杂的热带森林环境中表现不佳，难以准确识别和分割树木。
- 提出SelvaMask数据集和模块化检测-分割框架，利用领域特定的检测提示器来适配视觉基础模型。
- 实验表明，该方法在热带森林树木分割任务上达到了最先进的性能，并具有良好的泛化能力。
📝 摘要（中文）
热带森林拥有地球上最多的树木生物多样性，对全球生态平衡至关重要。特别是林冠树木在碳储存和生态系统功能中发挥着重要作用。大规模研究林冠树木需要精确地勾勒出单个树冠，这通常使用高分辨率航空图像完成。尽管基于Transformer的模型在单个树冠分割方面取得了进展，但在大多数森林（尤其是热带森林）中的性能仍然很低。为此，我们引入了SelvaMask，这是一个新的热带数据集，包含巴拿马、巴西和厄瓜多尔三个新热带森林站点的超过8,800个手动描绘的树冠。SelvaMask具有全面的注释，包括注释者间一致性评估，捕捉了热带森林的密集结构，并突出了这项任务的难度。利用这个基准，我们提出了一个模块化的检测-分割流水线，该流水线适应视觉基础模型（VFMs），使用特定领域的检测提示器。我们的方法达到了最先进的性能，优于密集热带森林中的零样本通用模型和完全监督的端到端方法。我们在外部热带和温带数据集上验证了这些增益，证明SelvaMask既是一个具有挑战性的基准，也是实现广义森林监测的关键推动因素。我们的代码和数据集将公开发布。
🔬 方法详解
问题定义：论文旨在解决热带森林中单个树冠的精确分割问题。现有方法，包括基于Transformer的模型，在热带森林这种复杂、密集的环境中表现不佳，难以准确分割树木。这主要是由于热带森林树木种类繁多、树冠交错复杂，以及缺乏高质量的训练数据。
核心思路：论文的核心思路是利用视觉基础模型（VFMs）的强大特征提取能力，并结合领域特定的检测提示器，来提升模型在热带森林树木分割任务上的性能。通过构建高质量的热带森林树木分割数据集SelvaMask，为模型训练和评估提供了可靠的基础。
技术框架：论文提出的方法是一个模块化的检测-分割流水线，主要包含两个阶段：1) 树木检测阶段：使用领域特定的检测提示器来引导视觉基础模型检测图像中的树木。2) 树木分割阶段：利用检测到的树木位置信息，对每个树木进行精细的分割。整个框架可以灵活地替换不同的视觉基础模型和检测提示器。
关键创新：论文的关键创新在于：1) 构建了高质量的热带森林树木分割数据集SelvaMask，该数据集包含丰富的标注信息和注释者间一致性评估。2) 提出了基于领域特定检测提示器的视觉基础模型适配方法，能够有效地提升模型在热带森林树木分割任务上的性能。
关键设计：论文的关键设计包括：1) SelvaMask数据集的标注规范，确保标注的准确性和一致性。2) 检测提示器的设计，利用领域知识来引导模型检测树木。3) 损失函数的设计，用于优化模型的分割性能。具体参数设置和网络结构细节在论文中进行了详细描述（未知）。
🖼️ 关键图片
📊 实验亮点
SelvaMask数据集包含超过8,800个手动标注的树冠，是目前最大的热带森林树木分割数据集之一。实验结果表明，论文提出的方法在SelvaMask数据集上达到了最先进的性能，显著优于零样本通用模型和完全监督的端到端方法。此外，该方法在外部热带和温带数据集上也表现出良好的泛化能力。
🎯 应用场景
该研究成果可广泛应用于森林资源调查、生物多样性保护、碳储量评估、生态系统监测等领域。通过精确分割树冠，可以更准确地估计森林的生物量、碳储量和树木种类组成，为制定合理的森林管理策略提供科学依据。此外，该技术还可以用于监测森林健康状况，及时发现病虫害和森林火灾等问题。
📄 摘要（原文）
Tropical forests harbor most of the planet's tree biodiversity and are critical to global ecological balance. Canopy trees in particular play a disproportionate role in carbon storage and functioning of these ecosystems. Studying canopy trees at scale requires accurate delineation of individual tree crowns, typically performed using high-resolution aerial imagery. Despite advances in transformer-based models for individual tree crown segmentation, performance remains low in most forests, especially tropical ones. To this end, we introduce SelvaMask, a new tropical dataset containing over 8,800 manually delineated tree crowns across three Neotropical forest sites in Panama, Brazil, and Ecuador. SelvaMask features comprehensive annotations, including an inter-annotator agreement evaluation, capturing the dense structure of tropical forests and highlighting the difficulty of the task. Leveraging this benchmark, we propose a modular detection-segmentation pipeline that adapts vision foundation models (VFMs), using domain-specific detection-prompter. Our approach reaches state-of-the-art performance, outperforming both zero-shot generalist models and fully supervised end-to-end methods in dense tropical forests. We validate these gains on external tropical and temperate datasets, demonstrating that SelvaMask serves as both a challenging benchmark and a key enabler for generalized forest monitoring. Our code and dataset will be released publicly.