Active perception for robotic harvesting: 3D reconstruction and localisation of tomatoes hidden within clusters in a Mediterranean greenhouse
作者: Fernando Cañadas-Aránega, Rowan Border, José C. Moreno, José L. Blanco-Claraco
分类: cs.RO
发布日期: 2026-09-16
💡 一句话要点
提出一种3D重建与定位方法以解决温室内番茄采摘问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 机器人采摘 3D重建 果实定位 农业自动化 密度聚类 温室管理 计算机视觉
📋 核心要点
- 现有方法在处理聚集生长的作物时，无法有效检测被遮挡的果实，导致采摘效率低下。
- 本研究提出了一种五阶段的3D重建与定位管道，能够精确识别聚集中的番茄，包括遮挡情况。
- 实验结果显示，该系统在多种场景下的精度超过90%，召回率为82.8%，均值交并比达到80.7%。
📝 摘要（中文）
在地中海温室内实现机器人自动采摘面临植物几何复杂性和果实遮挡的重大挑战。现有文献主要针对孤立生长的作物，而本研究提出了一种全面的管道，用于3D重建和精确定位聚集中的番茄，包括严重遮挡的情况。该方法包括五个阶段：点云获取、噪声过滤、表面分类与分割、遮挡果实的隔离与恢复，以及3D姿态估计。经过多场景评估，该系统在精度、召回率和均值交并比等指标上均表现出色，验证了其在自主采摘操作中的技术可行性和高准确性。
🔬 方法详解
问题定义：本研究旨在解决在地中海温室内，机器人采摘时对聚集生长的番茄果实的定位与识别问题。现有方法主要针对孤立作物，无法有效处理果实遮挡的情况。
核心思路：提出一种综合的管道，通过五个阶段的处理，实现对聚集番茄的3D重建和精确定位，确保即使在严重遮挡的情况下也能识别果实。
技术框架：整体流程包括五个主要阶段：1) 使用AgriSEE Next Best View (NBV)主动规划器获取点云；2) 通过统计离群点去除（SOR）进行噪声过滤；3) 使用区域生长（RG）进行表面分类与分割；4) 通过基于密度的空间聚类（DBSCAN）隔离和恢复遮挡果实；5) 进行3D姿态估计（位置与方向）。
关键创新：本研究的创新点在于提出了一种能够处理聚集生长作物的3D重建与定位方法，显著提升了对遮挡果实的识别能力，与现有方法相比具有更高的精度和可靠性。
关键设计：在技术细节上，采用了统计离群点去除算法来过滤噪声，区域生长算法用于表面分类，DBSCAN用于处理遮挡情况，确保了系统在不同场景下的高重复性和准确性。具体的参数设置和损失函数设计在实验中经过验证，确保了系统的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该系统在多种遮挡场景下的精度超过90%，平均召回率为82.8%，均值交并比达到80.7%。此外，系统在质心估计方面表现出高重复性，均方根误差仅为4.2mm，验证了其在自主采摘操作中的技术可行性和高准确性。
🎯 应用场景
该研究的潜在应用领域包括农业机器人、智能温室管理和自动化采摘系统。通过提高对聚集生长作物的识别能力，能够显著提升农业生产效率，降低人工成本，推动农业自动化的发展。未来，该技术有望扩展到其他类型的作物和不同的农业环境中。
📄 摘要（原文）
Automating robotic harvesting in intensive agriculture within Mediterranean greenhouses requires overcoming significant challenges related to the geometric complexity of plants and occluded fruits. Although existing literature offers solutions targeting crops that grow in isolation (e.g., apples, sweet peppers, or peaches), the fundamental challenge lies in cluster-growing vegetables, where fixed sensors mounted on robotic systems fail to detect fruits hidden behind the visible surface. To address this limitation, this study presents a comprehensive pipeline for the 3D reconstruction and precise localization of each fruit within a cluster, including heavily occluded instances. The proposed methodology is structured into five sequential stages: i) point cloud acquisition using the AgriSEE Next Best View (NBV) active planner; ii) stochastic noise filtering via Statistical Outlier Removal (SOR); iii) surface classification and segmentation using Region Growing (RG); iv) isolation and recovery of occluded fruits through Density-Based Spatial Clustering of Applications with Noise (DBSCAN); and v) 3D pose estimation (position and orientation). This approach extracts the complete cluster geometry, ensuring the reliable identification of partially hidden tomatoes. Evaluated across multiple scenarios with varying occlusion levels within a simulation framework rigorously validated against real-world conditions, the system achieves a precision exceeding 90\%, an average recall of 82.8\%, and a mean Intersection over Union (mIoU) of 80.7\%. Furthermore, it demonstrates high repeatability in centroid estimation with a Root Mean Square Error (RMSE) of merely 4.2~mm, verifying its technical feasibility and high accuracy for autonomous harvesting operations.