Biomass phenotyping of oilseed rape through UAV multi-view oblique imaging with 3DGS and SAM model

📄 arXiv: 2411.08453v1 📥 PDF

作者: Yutao Shen, Hongyu Zhou, Xin Yang, Xuqi Lu, Ziyue Guo, Lixi Jiang, Yong He, Haiyan Cen

分类: cs.CV

发布日期: 2024-11-13

💡 一句话要点

结合3DGS与SAM模型，实现油菜高精度三维重建与生物量表型分析

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 三维重建 生物量估计 无人机遥感 3D高斯溅射 分割一切模型 油菜表型分析 点云分割

📋 核心要点

  1. 现有无人机表型分析方法依赖正射影像，难以处理复杂田间环境下叶片重叠和结构信息不完整的问题。
  2. 该研究结合3DGS快速重建三维场景，并利用SAM模型提升点云分割精度，从而更准确地估计生物量。
  3. 实验表明，该方法在重建精度、分割精度和生物量估计精度上均优于传统方法，且效率更高。

📝 摘要（中文）

本研究提出了一种结合3D高斯溅射(3DGS)与分割一切模型(SAM)的方法，用于油菜的精确三维重建和生物量估计。该方法利用无人机多角度倾斜影像进行三维重建，SAM模块增强点云分割效果。分割后的点云被转换为点云体积，并通过线性回归拟合地面实测生物量。结果表明，3DGS（7k和30k次迭代）提供了高精度，峰值信噪比(PSNR)分别为27.43和29.53，训练时间分别为7和49分钟，优于运动恢复结构(SfM)和mipmap神经辐射场(Mip-NeRF)。SAM模块实现了高分割精度，平均交并比(mIoU)为0.961，F1分数为0.980。此外，点云体积模型在生物量提取模型中表现最佳，决定系数(R2)为0.976，均方根误差(RMSE)为2.92 g/plant，平均绝对百分比误差(MAPE)为6.81%，优于地块作物体积和单株作物体积模型。该研究突出了结合3DGS与多视角无人机影像在改进生物量表型分析方面的潜力。

🔬 方法详解

问题定义：论文旨在解决油菜生物量精确估计的问题。现有基于无人机正射影像的表型分析方法，在油菜这种叶片结构复杂、易重叠的作物上，难以准确获取完整的三维结构信息，导致生物量估计精度不高。传统方法如SfM计算效率较低，而NeRF类方法训练时间长，难以满足快速表型分析的需求。

核心思路：论文的核心思路是利用3DGS快速高效地重建油菜的三维场景，并结合SAM模型对点云进行精确分割，从而提取更准确的生物量相关特征。3DGS具有渲染速度快、重建质量高的优点，SAM模型具有强大的分割能力，二者结合可以克服传统方法的不足。

技术框架：整体流程如下：1) 使用无人机从36个角度采集油菜田的多视角倾斜影像；2) 使用3DGS对影像进行三维重建，生成点云；3) 使用SAM模型对点云进行分割，区分油菜植株和背景；4) 将分割后的点云转换为点云体积；5) 使用线性回归模型，将点云体积与地面实测生物量进行拟合，建立生物量估计模型。

关键创新：该研究的关键创新在于将3DGS和SAM模型结合应用于油菜生物量表型分析。与传统的SfM方法相比，3DGS具有更高的重建效率和质量。与NeRF类方法相比，3DGS的训练速度更快。SAM模型的引入，提高了点云分割的精度，从而提升了生物量估计的准确性。

关键设计：3DGS使用7k和30k次迭代进行训练，分别对应不同的训练时间和重建精度。SAM模型采用默认参数进行分割。点云体积通过计算每个体素内点的数量来表示。线性回归模型使用最小二乘法进行参数估计。生物量估计模型分别采用点云体积、地块作物体积和单株作物体积三种特征进行训练，并比较其性能。

📊 实验亮点

实验结果表明，3DGS重建的PSNR最高可达29.53，优于SfM和Mip-NeRF。SAM模型的mIoU为0.961，F1分数为0.980，分割精度高。基于点云体积的生物量估计模型R2为0.976，RMSE为2.92 g/plant，MAPE为6.81%，精度优于其他模型，验证了该方法的有效性。

🎯 应用场景

该研究成果可应用于精准农业领域，为油菜的育种和栽培管理提供技术支持。通过快速、准确地估计油菜生物量，可以优化施肥、灌溉等措施，提高产量和品质。此外，该方法也可推广到其他作物，实现高通量表型分析，加速育种进程。

📄 摘要（原文）

Biomass estimation of oilseed rape is crucial for optimizing crop productivity and breeding strategies. While UAV-based imaging has advanced high-throughput phenotyping, current methods often rely on orthophoto images, which struggle with overlapping leaves and incomplete structural information in complex field environments. This study integrates 3D Gaussian Splatting (3DGS) with the Segment Anything Model (SAM) for precise 3D reconstruction and biomass estimation of oilseed rape. UAV multi-view oblique images from 36 angles were used to perform 3D reconstruction, with the SAM module enhancing point cloud segmentation. The segmented point clouds were then converted into point cloud volumes, which were fitted to ground-measured biomass using linear regression. The results showed that 3DGS (7k and 30k iterations) provided high accuracy, with peak signal-to-noise ratios (PSNR) of 27.43 and 29.53 and training times of 7 and 49 minutes, respectively. This performance exceeded that of structure from motion (SfM) and mipmap Neural Radiance Fields (Mip-NeRF), demonstrating superior efficiency. The SAM module achieved high segmentation accuracy, with a mean intersection over union (mIoU) of 0.961 and an F1-score of 0.980. Additionally, a comparison of biomass extraction models found the point cloud volume model to be the most accurate, with an determination coefficient (R2) of 0.976, root mean square error (RMSE) of 2.92 g/plant, and mean absolute percentage error (MAPE) of 6.81%, outperforming both the plot crop volume and individual crop volume models. This study highlights the potential of combining 3DGS with multi-view UAV imaging for improved biomass phenotyping.