PanicleNeRF: low-cost, high-precision in-field phenotypingof rice panicles with smartphone

📄 arXiv: 2408.02053v1 📥 PDF

作者: Xin Yang, Xuqi Lu, Pengyao Xie, Ziyue Guo, Hui Fang, Haowei Fu, Xiaochun Hu, Zhenbiao Sun, Haiyan Cen

分类: cs.CV

发布日期: 2024-08-04

💡 一句话要点

PanicleNeRF：利用智能手机低成本、高精度地进行水稻穗田间表型分析

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 水稻表型分析 三维重建 NeRF 图像分割 深度学习 智能手机 田间应用

📋 核心要点

  1. 现有水稻穗表型分析技术受限于室内环境，难以在自然生长条件下准确获取穗部性状。
  2. PanicleNeRF结合SAM和YOLOv8进行高精度图像分割，并利用NeRF技术进行三维重建，实现田间穗部表型分析。
  3. 实验表明，PanicleNeRF在分割精度和点云质量上均优于传统方法，穗长提取精度高，穗体积与产量相关性强。

📝 摘要（中文）

水稻穗的性状显著影响产量，是水稻表型研究的主要目标。然而，现有技术大多局限于室内环境，难以捕捉自然生长条件下水稻穗的性状。本文提出PanicleNeRF，一种新方法，可以使用智能手机在田间低成本、高精度地重建水稻穗的三维（3D）模型。该方法结合大型模型Segment Anything Model (SAM)和小型模型You Only Look Once version 8 (YOLOv8)，实现水稻穗图像的高精度分割。然后，使用带有2D分割的图像，采用NeRF技术进行3D重建。最后，处理生成的点云以成功提取穗的性状。结果表明，PanicleNeRF有效地解决了2D图像分割任务，平均F1得分为86.9%，平均IoU为79.8%，边界重叠(BO)性能几乎是YOLOv8的两倍。在点云质量方面，PanicleNeRF明显优于传统的SfM-MVS（structure-from-motion and multi-view stereo）方法，如COLMAP和Metashape。穗长被准确提取，籼稻的rRMSE为2.94%，粳稻为1.75%。从3D点云估计的穗体积与籽粒数（籼稻R2 = 0.85，粳稻R2 = 0.82）和籽粒质量（籼稻0.80，粳稻0.76）密切相关。该方法为水稻穗的高通量田间表型分析提供了一种低成本的解决方案，加速了水稻育种的效率。

🔬 方法详解

问题定义：论文旨在解决在自然田间环境下，如何低成本、高精度地获取水稻穗的三维结构和表型参数的问题。现有方法，如人工测量或基于传统SfM-MVS的重建方法，存在成本高、效率低、精度不足等痛点，难以满足大规模田间表型分析的需求。

核心思路：论文的核心思路是结合深度学习的图像分割能力和NeRF的三维重建能力，利用智能手机拍摄的图像，实现水稻穗的自动、高精度三维重建。通过精确的三维模型，可以提取穗长、穗体积等关键表型参数，从而为水稻育种提供数据支持。

技术框架：PanicleNeRF的整体框架包括以下几个主要阶段：1) 图像采集：使用智能手机在田间采集水稻穗的图像。2) 图像分割：利用SAM和YOLOv8对图像中的水稻穗进行高精度分割，生成分割掩码。3) 三维重建：使用分割后的图像和相机位姿信息，利用NeRF技术重建水稻穗的三维模型。4) 点云处理与表型提取：对重建的三维点云进行处理，提取穗长、穗体积等表型参数。

关键创新：该方法最重要的创新点在于将深度学习的图像分割技术（SAM和YOLOv8）与NeRF的三维重建技术相结合，实现了在复杂田间环境下对水稻穗进行高精度、低成本的三维重建。与传统的SfM-MVS方法相比，PanicleNeRF在点云质量和重建精度上具有显著优势。

关键设计：在图像分割阶段，论文结合了SAM的强大分割能力和YOLOv8的快速检测能力，以提高分割精度和效率。在NeRF重建阶段，论文可能采用了特定的参数设置或优化策略，以适应水稻穗的复杂几何结构和纹理特征。具体的损失函数和网络结构等技术细节在论文中应该有更详细的描述（未知）。

📊 实验亮点

PanicleNeRF在水稻穗图像分割任务中取得了显著成果，平均F1得分为86.9%，平均IoU为79.8%，边界重叠(BO)性能几乎是YOLOv8的两倍。在点云质量方面，PanicleNeRF明显优于传统的SfM-MVS方法，如COLMAP和Metashape。穗长提取的rRMSE，籼稻为2.94%，粳稻为1.75%。穗体积与籽粒数和籽粒质量具有很强的相关性（R2分别达到0.85和0.80）。

🎯 应用场景

PanicleNeRF可广泛应用于水稻育种、精准农业等领域。通过快速、准确地获取水稻穗的表型参数，可以加速水稻育种进程，提高育种效率。此外，该方法还可以用于评估不同栽培措施对水稻生长的影响，为精准农业提供数据支持，最终提高水稻产量和品质。

📄 摘要（原文）

The rice panicle traits significantly influence grain yield, making them a primary target for rice phenotyping studies. However, most existing techniques are limited to controlled indoor environments and difficult to capture the rice panicle traits under natural growth conditions. Here, we developed PanicleNeRF, a novel method that enables high-precision and low-cost reconstruction of rice panicle three-dimensional (3D) models in the field using smartphone. The proposed method combined the large model Segment Anything Model (SAM) and the small model You Only Look Once version 8 (YOLOv8) to achieve high-precision segmentation of rice panicle images. The NeRF technique was then employed for 3D reconstruction using the images with 2D segmentation. Finally, the resulting point clouds are processed to successfully extract panicle traits. The results show that PanicleNeRF effectively addressed the 2D image segmentation task, achieving a mean F1 Score of 86.9% and a mean Intersection over Union (IoU) of 79.8%, with nearly double the boundary overlap (BO) performance compared to YOLOv8. As for point cloud quality, PanicleNeRF significantly outperformed traditional SfM-MVS (structure-from-motion and multi-view stereo) methods, such as COLMAP and Metashape. The panicle length was then accurately extracted with the rRMSE of 2.94% for indica and 1.75% for japonica rice. The panicle volume estimated from 3D point clouds strongly correlated with the grain number (R2 = 0.85 for indica and 0.82 for japonica) and grain mass (0.80 for indica and 0.76 for japonica). This method provides a low-cost solution for high-throughput in-field phenotyping of rice panicles, accelerating the efficiency of rice breeding.