IPENS:Interactive Unsupervised Framework for Rapid Plant Phenotyping Extraction via NeRF-SAM2 Fusion

📄 arXiv: 2505.13633v1 📥 PDF

作者: Wentao Song, He Huang, Youqiang Sun, Fang Qu, Jiaqi Zhang, Longhui Fang, Yuwei Hao, Chenyang Peng

分类: cs.CV

发布日期: 2025-05-19

💡 一句话要点

IPENS：基于NeRF-SAM2融合的交互式无监督植物表型快速提取框架

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 植物表型分析 神经辐射场 无监督学习 点云提取 智能育种

📋 核心要点

  1. 现有植物表型分析方法依赖大量人工标注数据，且对谷粒等自遮挡目标分割效果不佳。
  2. IPENS利用NeRF将SAM2分割的2D掩码提升到3D空间，实现无监督多目标点云提取。
  3. 实验表明，IPENS在水稻和小麦数据集上实现了高精度的谷粒级分割和表型估计。

📝 摘要（中文）

针对植物表型分析中人工标注数据依赖和自遮挡问题，本研究提出了一种交互式无监督多目标点云提取方法IPENS。该方法利用辐射场信息将SAM2分割的2D掩码提升到3D空间，用于目标点云提取。设计了一种多目标协同优化策略，有效解决了单次交互多目标分割的挑战。实验结果表明，IPENS在水稻数据集上实现了63.72%的谷粒级分割精度(mIoU)，并具有强大的表型估计能力：谷粒体积预测的R2为0.7697 (RMSE = 0.0025)，叶面积R2为0.84 (RMSE = 18.93)，叶长和叶宽预测的R2分别为0.97和0.87 (RMSE分别为1.49和0.21)。在小麦数据集上，IPENS进一步将分割精度提高到89.68% (mIoU)，并具有同样出色的表型估计性能：穗体积预测的R2为0.9956 (RMSE = 0.0055)，叶面积R2为1.00 (RMSE = 0.67)，叶长和叶宽预测的R2分别达到0.99和0.92 (RMSE分别为0.23和0.15)。该方法为水稻和小麦提供了一种非侵入式、高质量的表型提取解决方案。无需标注数据，通过简单的单轮图像交互，即可在3分钟内快速提取多个目标的谷粒级点云，显示出加速智能育种效率的巨大潜力。

🔬 方法详解

问题定义：论文旨在解决植物表型分析中对大量人工标注数据的依赖问题，以及现有无监督方法在处理谷粒等自遮挡目标时效果不佳的难题。现有方法通常需要耗时耗力的人工标注，且难以有效分割自遮挡的细粒度目标，限制了智能育种的效率。

核心思路：论文的核心思路是结合NeRF（神经辐射场）和SAM2（Segment Anything Model 2），利用NeRF将SAM2分割的2D图像掩码提升到3D空间，从而实现无监督的点云提取。通过交互式的方式，用户只需在图像上进行简单的点击，即可提取多个目标的3D点云。这样设计的目的是为了减少对人工标注数据的依赖，并提高对自遮挡目标的分割精度。

技术框架：IPENS的整体框架主要包含以下几个阶段：1) 数据采集：使用RGB图像采集植物图像。2) 2D分割：使用SAM2对图像进行分割，生成2D掩码。3) 3D提升：利用NeRF将2D掩码提升到3D空间，生成3D点云。4) 多目标协同优化：设计多目标协同优化策略，解决单次交互多目标分割的挑战。5) 表型估计：基于提取的点云数据，进行表型参数的估计。

关键创新：IPENS最重要的技术创新点在于将NeRF和SAM2相结合，实现了一种交互式的无监督点云提取方法。与现有方法相比，IPENS无需人工标注数据，即可实现对自遮挡目标的精确分割。此外，多目标协同优化策略也有效解决了单次交互多目标分割的难题。

关键设计：IPENS的关键设计包括：1) 使用预训练的SAM2模型进行2D分割，减少了训练成本。2) 利用NeRF的密度场信息进行3D提升，提高了点云的精度。3) 设计了多目标协同优化策略，通过优化目标之间的关系，提高分割的准确性。具体的损失函数和网络结构等技术细节在论文中进行了详细描述，但具体参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

IPENS在水稻数据集上实现了63.72%的谷粒级分割精度(mIoU)，在小麦数据集上达到了89.68% (mIoU)。在表型估计方面，IPENS在水稻和小麦数据集上均取得了优异的性能，例如小麦穗体积预测的R2达到0.9956。该方法仅需3分钟即可完成多个目标的点云提取，显著提高了效率。

🎯 应用场景

IPENS可广泛应用于植物表型分析、智能育种、精准农业等领域。该方法能够快速、非侵入式地提取植物的3D表型信息，为植物生长监测、产量预测、抗逆性评估等提供重要数据支持。未来，IPENS有望应用于更多植物种类，并与其他传感器数据融合，实现更全面的植物表型分析。

📄 摘要（原文）

Advanced plant phenotyping technologies play a crucial role in targeted trait improvement and accelerating intelligent breeding. Due to the species diversity of plants, existing methods heavily rely on large-scale high-precision manually annotated data. For self-occluded objects at the grain level, unsupervised methods often prove ineffective. This study proposes IPENS, an interactive unsupervised multi-target point cloud extraction method. The method utilizes radiance field information to lift 2D masks, which are segmented by SAM2 (Segment Anything Model 2), into 3D space for target point cloud extraction. A multi-target collaborative optimization strategy is designed to effectively resolve the single-interaction multi-target segmentation challenge. Experimental validation demonstrates that IPENS achieves a grain-level segmentation accuracy (mIoU) of 63.72% on a rice dataset, with strong phenotypic estimation capabilities: grain volume prediction yields R2 = 0.7697 (RMSE = 0.0025), leaf surface area R2 = 0.84 (RMSE = 18.93), and leaf length and width predictions achieve R2 = 0.97 and 0.87 (RMSE = 1.49 and 0.21). On a wheat dataset,IPENS further improves segmentation accuracy to 89.68% (mIoU), with equally outstanding phenotypic estimation performance: spike volume prediction achieves R2 = 0.9956 (RMSE = 0.0055), leaf surface area R2 = 1.00 (RMSE = 0.67), and leaf length and width predictions reach R2 = 0.99 and 0.92 (RMSE = 0.23 and 0.15). This method provides a non-invasive, high-quality phenotyping extraction solution for rice and wheat. Without requiring annotated data, it rapidly extracts grain-level point clouds within 3 minutes through simple single-round interactions on images for multiple targets, demonstrating significant potential to accelerate intelligent breeding efficiency.