Self-Supervised Learning for Robotic Leaf Manipulation: A Hybrid Geometric-Neural Approach

📄 arXiv: 2505.03702v3 📥 PDF

作者: Srecharan Selvam

分类: cs.RO, cs.CV, cs.LG

发布日期: 2025-05-06 (更新: 2025-05-16)

备注: 15 pages, 9 figures

💡 一句话要点

提出一种混合几何-神经自监督学习方法，用于农业机器人叶片操作。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 机器人叶片操作 自监督学习 混合几何-神经方法 农业机器人 实例分割 深度估计

📋 核心要点

  1. 农业机器人叶片操作面临植物形态多变和叶片易变形的挑战，传统方法难以有效应对。
  2. 论文提出混合几何-神经方法，利用几何先验和神经网络互补优势，并通过置信度加权融合提升性能。
  3. 实验结果表明，该方法在真实温室环境中抓取成功率显著优于纯几何和纯神经方法。

📝 摘要（中文）

本文提出了一种新颖的混合几何-神经方法，用于农业环境中自主叶片抓取，旨在解决植物形态和叶片可变形性带来的挑战。该方法结合了YOLOv8用于实例分割和RAFT-Stereo用于3D深度估计，构建丰富的叶片表征，并输入到几何特征评分流程和神经细化模块(GraspPointCNN)。核心创新是置信度加权融合机制，根据预测置信度动态平衡两种方法的贡献。自监督框架使用几何流程作为专家教师自动生成训练数据。实验表明，该方法在受控环境中达到88.0%的成功率，在真实温室条件下达到84.7%，显著优于纯几何(75.3%)和神经(60.2%)方法。这项工作为农业机器人建立了一个新范例，将领域知识与机器学习能力无缝集成，为全自动作物监测系统奠定了基础。

🔬 方法详解

问题定义：论文旨在解决农业机器人自主叶片抓取问题，现有方法主要痛点在于难以同时处理植物形态的多样性和叶片的可变形性，导致抓取成功率不高。纯几何方法依赖精确的叶片模型，对形变鲁棒性差；纯神经方法需要大量标注数据，泛化能力受限。

核心思路：论文的核心思路是将几何先验知识与神经网络学习能力相结合，利用几何方法提供初始抓取候选，并使用神经网络进行细化和优化。通过自监督学习，利用几何方法作为教师信号，减少对人工标注数据的依赖。置信度加权融合机制能够动态平衡几何和神经方法的贡献，提高整体鲁棒性。

技术框架：整体框架包含以下几个主要模块：1) 使用YOLOv8进行叶片实例分割；2) 使用RAFT-Stereo进行3D深度估计，构建叶片点云；3) 几何特征评分流程，基于叶片几何特征（如面积、长宽比等）计算抓取候选点的得分；4) GraspPointCNN神经细化模块，对几何方法提供的抓取候选点进行优化；5) 置信度加权融合模块，根据几何和神经方法的置信度，动态调整二者的权重，最终输出抓取点。

关键创新：最重要的技术创新点在于混合几何-神经架构和自监督学习框架。混合架构结合了几何方法的精确性和神经方法的鲁棒性，自监督学习框架减少了对人工标注数据的依赖。置信度加权融合机制是另一个关键创新，能够动态平衡两种方法的贡献，提高整体性能。

关键设计：GraspPointCNN是一个基于PointNet++的网络结构，用于对抓取候选点周围的点云进行特征提取和评分。损失函数包括抓取成功率损失和几何一致性损失，其中几何一致性损失用于约束神经方法的输出与几何方法的输出保持一致。自监督学习过程中，几何方法作为教师，为神经方法提供训练数据。置信度加权融合模块使用sigmoid函数将几何和神经方法的得分映射到[0,1]区间，并根据置信度动态调整权重。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在受控环境中达到88.0%的抓取成功率，在真实温室条件下达到84.7%的抓取成功率，显著优于纯几何方法（75.3%）和纯神经方法（60.2%）。这表明混合几何-神经方法能够有效结合两种方法的优势，提高农业机器人叶片操作的性能。

🎯 应用场景

该研究成果可应用于精准农业领域，例如自动化作物监测、叶片采样、病虫害检测等。通过机器人自主操作，可以减少人工干预，提高农业生产效率和质量。未来，该技术有望扩展到其他类型的农作物和更复杂的农业操作任务中，例如水果采摘、枝条修剪等。

📄 摘要（原文）

Automating leaf manipulation in agricultural settings faces significant challenges, including the variability of plant morphologies and deformable leaves. We propose a novel hybrid geometric-neural approach for autonomous leaf grasping that combines traditional computer vision with neural networks through self-supervised learning. Our method integrates YOLOv8 for instance segmentation and RAFT-Stereo for 3D depth estimation to build rich leaf representations, which feed into both a geometric feature scoring pipeline and a neural refinement module (GraspPointCNN). The key innovation is our confidence-weighted fusion mechanism that dynamically balances the contribution of each approach based on prediction certainty. Our self-supervised framework uses the geometric pipeline as an expert teacher to automatically generate training data. Experiments demonstrate that our approach achieves an 88.0% success rate in controlled environments and 84.7% in real greenhouse conditions, significantly outperforming both purely geometric (75.3%) and neural (60.2%) methods. This work establishes a new paradigm for agricultural robotics where domain expertise is seamlessly integrated with machine learning capabilities, providing a foundation for fully automated crop monitoring systems.