Multimodal classification of forest biodiversity potential from 2D orthophotos and 3D airborne laser scanning point clouds

📄 arXiv: 2501.01728v3 📥 PDF

作者: Simon B. Jensen, Stefan Oehmcke, Andreas Møgelmose, Meysam Madadi, Christian Igel, Sergio Escalera, Thomas B. Moeslund

分类: cs.CV

发布日期: 2025-01-03 (更新: 2025-12-16)

💡 一句话要点

提出基于深度学习的多模态融合方法，利用正射影像和激光雷达数据评估森林生物多样性潜力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 森林生物多样性 多模态融合 深度学习 正射影像 激光雷达 遥感 生态监测

📋 核心要点

  1. 传统森林生物多样性评估依赖人工调查，成本高昂且空间覆盖有限，难以满足大规模监测需求。
  2. 论文提出一种基于深度学习的多模态融合方法，结合正射影像的光谱信息和激光雷达点云的结构信息，提升评估准确性。
  3. 实验结果表明，该方法在森林生物多样性潜力评估中取得了显著效果，端到端训练融合方法准确率达到82.0%。

📝 摘要（中文）

本研究旨在探索利用深度学习融合二维正射影像和三维机载激光扫描(ALS)点云数据，以可靠地评估森林生物多样性潜力。我们引入了BioVista数据集，该数据集包含来自丹麦温带森林的44378个正射影像和ALS点云配对样本，用于研究多模态融合方法。我们使用深度神经网络（正射影像使用ResNet，ALS点云使用PointVector）来研究每种数据模态评估森林生物多样性潜力的能力，分别实现了76.7%和75.8%的总体准确率。我们探索了各种二维和三维融合方法：基于置信度的集成、特征级联和端到端训练，其中后者在区分低潜力和高潜力森林区域时实现了82.0%的总体准确率。结果表明，正射影像的光谱信息和ALS点云的结构信息在评估森林生物多样性潜力方面能够有效互补。

🔬 方法详解

问题定义：现有森林生物多样性评估方法主要依赖于人工地面调查，存在成本高、效率低、空间覆盖范围有限等问题。如何利用遥感数据，实现快速、准确、大范围的森林生物多样性评估是本研究要解决的问题。现有方法难以有效融合不同模态遥感数据，无法充分利用各自优势。

核心思路：本研究的核心思路是利用深度学习技术，将二维正射影像的光谱信息和三维激光雷达点云的结构信息进行有效融合，从而更全面地刻画森林的生物多样性潜力。正射影像提供地表反射率信息，而激光雷达点云提供植被高度、密度等结构信息，两者互补可以提高评估的准确性和鲁棒性。

技术框架：整体框架包括数据预处理、特征提取和融合、以及分类预测三个主要阶段。首先，对正射影像和激光雷达点云数据进行预处理，包括几何校正、噪声去除等。然后，使用深度神经网络分别提取两种模态的特征，正射影像使用ResNet，点云数据使用PointVector。最后，将提取的特征进行融合，并使用分类器预测森林生物多样性潜力等级。研究探索了多种融合策略，包括基于置信度的集成、特征级联和端到端训练。

关键创新：本研究的关键创新在于提出了一个基于深度学习的多模态融合框架，能够有效地结合正射影像和激光雷达点云数据进行森林生物多样性评估。与传统方法相比，该方法能够自动学习特征，避免了人工特征设计的局限性。此外，研究还探索了多种融合策略，并验证了端到端训练的有效性。

关键设计：在网络结构方面，正射影像使用预训练的ResNet模型，点云数据使用PointVector模型。在融合策略方面，研究尝试了三种方法：(1) 基于置信度的集成，即对两种模态的预测结果进行加权平均；(2) 特征级联，即将两种模态提取的特征向量进行拼接；(3) 端到端训练，即将两种模态的网络连接起来，进行联合训练。损失函数采用交叉熵损失函数，优化器采用Adam优化器。数据集划分为训练集、验证集和测试集，并采用交叉验证方法进行模型评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于深度学习的多模态融合方法能够有效提高森林生物多样性潜力评估的准确性。其中，端到端训练的融合方法在区分低潜力和高潜力森林区域时，总体准确率达到了82.0%，相比于单模态方法（正射影像76.7%，激光雷达点云75.8%）有显著提升。这表明正射影像的光谱信息和激光雷达点云的结构信息能够有效互补，共同提升评估性能。

🎯 应用场景

该研究成果可应用于森林资源管理、生态环境保护和生物多样性监测等领域。通过遥感数据和深度学习技术，可以实现对森林生物多样性潜力的大范围、快速评估，为制定合理的森林管理策略提供科学依据。此外，该方法还可以推广到其他生态系统的生物多样性评估中，具有广阔的应用前景。

📄 摘要（原文）

Assessment of forest biodiversity is crucial for ecosystem management and conservation. While traditional field surveys provide high-quality assessments, they are labor-intensive and spatially limited. This study investigates whether deep learning-based fusion of close-range sensing data from 2D orthophotos and 3D airborne laser scanning (ALS) point clouds can reliable assess the biodiversity potential of forests. We introduce the BioVista dataset, comprising 44378 paired samples of orthophotos and ALS point clouds from temperate forests in Denmark, designed to explore multimodal fusion approaches. Using deep neural networks (ResNet for orthophotos and PointVector for ALS point clouds), we investigate each data modality's ability to assess forest biodiversity potential, achieving overall accuracies of 76.7% and 75.8%, respectively. We explore various 2D and 3D fusion approaches: confidence-based ensembling, feature-level concatenation, and end-to-end training, with the latter achieving an overall accuracies of 82.0% when separating low- and high potential forest areas. Our results demonstrate that spectral information from orthophotos and structural information from ALS point clouds effectively complement each other in the assessment of forest biodiversity potential.