Parameter-Efficient Fine-Tuning of Vision Foundation Model for Forest Floor Segmentation from UAV Imagery

📄 arXiv: 2505.08932v1 📥 PDF

作者: Mohammad Wasil, Ahmad Drak, Brennan Penfold, Ludovico Scarton, Maximilian Johenneken, Alexander Asteroth, Sebastian Houben

分类: cs.RO, cs.CV

发布日期: 2025-05-13

备注: Accepted to the Novel Approaches for Precision Agriculture and Forestry with Autonomous Robots IEEE ICRA Workshop - 2025

💡 一句话要点

针对无人机林地图像，提出高效参数微调的视觉基础模型用于林地地表分割

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 林地地表分割 无人机图像 视觉基础模型 参数高效微调 Segment Anything Model Adapter LoRA

📋 核心要点

  1. 林地地表分割面临自然变异性高、环境参数变化快和标注定义模糊等挑战。
  2. 利用视觉基础模型SAM的泛化能力，通过参数高效微调（PEFT）来适应林地地表分割任务。
  3. 实验表明，基于适配器的PEFT方法取得了最高的mIoU，LoRA则为资源受限平台提供轻量级选择。

📝 摘要（中文）

本文针对无人机（UAV）在植树造林和森林监测中的应用，特别是难以到达地形中的播种，提出了一种林地地表分割方法。由于林地地表的高自然变异性、快速变化的环境参数以及不明确的标注定义，精确理解林地地表仍然是一个挑战。为了解决这个问题，我们采用了具有强大泛化能力的视觉基础模型Segment Anything Model (SAM)，并对其进行调整，以分割林地地表物体，如树桩、植被和木质碎片。为此，我们采用参数高效微调（PEFT）方法，在固定原始权重的同时，微调一小部分额外的模型参数。我们调整了SAM的掩码解码器，以生成与数据集类别相对应的掩码，从而实现无需手动提示的自动分割。实验结果表明，基于适配器的PEFT方法实现了最高的平均交并比（mIoU），而参数更少的低秩自适应（LoRA）为资源受限的无人机平台提供了一种轻量级的替代方案。

🔬 方法详解

问题定义：论文旨在解决无人机图像中林地地表分割问题。现有方法难以应对林地地表的高度自然变异性、快速变化的环境参数以及由于定义不清晰导致的标注模糊问题，导致分割精度不高。

核心思路：论文的核心思路是利用预训练的视觉基础模型SAM的强大泛化能力，通过参数高效微调（PEFT）的方式，使其适应特定的林地地表分割任务。这样可以在保持模型性能的同时，显著减少需要训练的参数量，降低计算成本。

技术框架：整体框架包括以下几个主要步骤：1) 获取无人机拍摄的林地图像数据集；2) 使用SAM模型作为基础模型；3) 调整SAM的掩码解码器，使其能够生成与林地地表类别（如树桩、植被、木质碎片等）相对应的掩码；4) 使用PEFT方法（如Adapter或LoRA）微调SAM模型，只更新少量参数；5) 在验证集上评估微调后的模型性能。

关键创新：关键创新在于将视觉基础模型SAM应用于林地地表分割，并采用参数高效微调（PEFT）策略。这使得模型能够在有限的数据集上快速适应新任务，同时避免了对整个模型进行微调所带来的计算负担。此外，调整SAM的掩码解码器以适应特定的林地地表类别也是一个重要的创新点。

关键设计：论文采用了两种PEFT方法：Adapter和LoRA。Adapter方法在SAM模型的某些层中插入额外的适配器模块，只训练这些适配器模块的参数。LoRA方法则通过低秩分解来近似权重矩阵的更新，从而减少需要训练的参数量。具体的参数设置和损失函数等技术细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于适配器的PEFT方法在林地地表分割任务中取得了最高的平均交并比（mIoU），验证了该方法的有效性。同时，LoRA方法在参数量更少的情况下，也取得了可观的性能，为资源受限的无人机平台提供了一种可行的解决方案。具体的mIoU数值和对比基线信息在论文中未详细说明，属于未知信息。

🎯 应用场景

该研究成果可应用于精准林业、森林资源调查、生态环境监测等领域。通过无人机搭载的视觉系统自动分割林地地表，可以帮助林业人员快速了解林地状况，优化植树造林方案，评估森林健康状况，并为环境保护提供数据支持。未来，该技术有望与机器人技术结合，实现自动化的林地管理和维护。

📄 摘要（原文）

Unmanned Aerial Vehicles (UAVs) are increasingly used for reforestation and forest monitoring, including seed dispersal in hard-to-reach terrains. However, a detailed understanding of the forest floor remains a challenge due to high natural variability, quickly changing environmental parameters, and ambiguous annotations due to unclear definitions. To address this issue, we adapt the Segment Anything Model (SAM), a vision foundation model with strong generalization capabilities, to segment forest floor objects such as tree stumps, vegetation, and woody debris. To this end, we employ parameter-efficient fine-tuning (PEFT) to fine-tune a small subset of additional model parameters while keeping the original weights fixed. We adjust SAM's mask decoder to generate masks corresponding to our dataset categories, allowing for automatic segmentation without manual prompting. Our results show that the adapter-based PEFT method achieves the highest mean intersection over union (mIoU), while Low-rank Adaptation (LoRA), with fewer parameters, offers a lightweight alternative for resource-constrained UAV platforms.