RoMu4o: A Robotic Manipulation Unit For Orchard Operations Automating Proximal Hyperspectral Leaf Sensing
作者: Mehrad Mortazavi, David J. Cappelleri, Reza Ehsani
分类: cs.RO, cs.CV
发布日期: 2025-01-18
🔗 代码/项目: GITHUB
💡 一句话要点
RoMu4o：一种用于果园作业的机器人操作单元，实现近端高光谱叶片传感自动化
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 机器人操作 高光谱成像 精准农业 果园自动化 叶片传感
📋 核心要点
- 现有叶片高光谱传感依赖人工，效率低且成本高，难以满足精准农业对大规模、快速表型分析的需求。
- RoMu4o通过集成6自由度机械臂、视觉系统和高光谱传感器，实现叶片抓取和光谱测量的自动化。
- 实验结果表明，RoMu4o在实验室和现场环境中均表现出较高的成功率，验证了其在果园作业中的可行性。
📝 摘要（中文）
为了应对劳动力短缺和满足快速增长的人口需求，机器人自动化已成为精准农业的关键组成部分。叶片级高光谱光谱技术已被证明是用于表型分析、监测作物健康、识别植物体内必需营养素以及检测疾病和水分胁迫的强大工具。本文介绍了一种用于果园作业的机器人操作单元RoMu4o，为近端高光谱叶片传感提供了一种自动化解决方案。该地面机器人配备了6自由度机械臂和视觉系统，用于基于深度学习的实时图像处理和运动规划。我们开发了强大的感知和操作流程，使机器人能够成功抓取目标叶片并进行光谱分析。这些框架协同工作，从观察到的叶片批次中识别和提取叶片的3D结构，提出6D姿态，并生成无碰撞的、约束感知的路径，以实现精确的叶片操作。机械臂的末端执行器采用紧凑型设计，集成了独立的照明源和高光谱传感器，从而能够进行高保真数据采集，同时简化了校准过程，以实现准确的测量。我们的地面机器人设计用于在非结构化的果园环境中运行。该系统在室内和室外植物模型中进行了性能评估。该系统在1-LPB高光谱采样中表现出可靠的性能，在实验室试验中成功率达到95%，在现场试验中达到79%。现场实验表明，在开心果园中自主叶片抓取和高光谱测量的总体成功率为70%。该开源库可在以下网址获取：https://github.com/mehradmrt/UCM-AgBot-ROS2
🔬 方法详解
问题定义：论文旨在解决果园环境中叶片高光谱数据采集效率低下的问题。传统方法依赖人工操作，耗时耗力，且难以保证数据质量的一致性。现有机器人解决方案在非结构化环境下的鲁棒性和精度方面仍存在挑战，难以适应果园复杂多变的场景。
核心思路：论文的核心思路是构建一个集感知、规划和操作于一体的机器人系统，实现自主叶片抓取和高光谱测量。通过视觉系统识别叶片，规划无碰撞路径，并利用定制的末端执行器进行精确操作，从而提高数据采集效率和质量。
技术框架：RoMu4o系统的整体架构包含以下几个主要模块：1) 感知模块：利用深度学习算法从视觉图像中提取叶片的3D结构和姿态信息。2) 运动规划模块：基于叶片的3D信息，生成无碰撞的机械臂运动轨迹，确保安全高效的叶片抓取。3) 操作模块：通过6自由度机械臂和定制的末端执行器，实现叶片的精确抓取和高光谱测量。4) 高光谱数据采集模块：集成了独立的照明源和高光谱传感器，用于采集高质量的叶片光谱数据。
关键创新：该论文的关键创新在于：1) 提出了一个完整的机器人操作单元，集成了感知、规划和操作功能，实现了叶片高光谱测量的自动化。2) 设计了一种紧凑型末端执行器，集成了照明源和高光谱传感器，简化了校准过程，提高了数据采集的精度。3) 开发了鲁棒的感知和操作流程，能够在非结构化的果园环境中稳定运行。
关键设计：在感知模块中，使用了基于深度学习的3D目标检测算法，用于提取叶片的3D信息。运动规划模块采用了约束感知的路径规划方法，确保机械臂在复杂环境中安全运动。末端执行器的设计考虑了叶片的形状和大小，采用了柔性夹爪，以避免损伤叶片。高光谱传感器选用了体积小、重量轻的型号，方便集成到末端执行器中。
🖼️ 关键图片
📊 实验亮点
RoMu4o系统在实验室和现场环境中进行了性能评估。在实验室试验中，1-LPB高光谱采样的成功率达到95%。在开心果园的现场试验中，自主叶片抓取和高光谱测量的总体成功率为70%。这些结果表明，RoMu4o系统具有较高的可靠性和鲁棒性，能够在实际果园环境中有效运行。
🎯 应用场景
RoMu4o系统可广泛应用于精准农业领域，例如作物表型分析、作物健康监测、养分诊断和病虫害预警。通过自动化高光谱数据采集，可以为农业生产者提供更及时、准确的决策支持，从而提高产量、降低成本，并减少农药和化肥的使用，实现可持续农业发展。未来，该技术有望扩展到其他类型的作物和农业场景。
📄 摘要（原文）
Driven by the need to address labor shortages and meet the demands of a rapidly growing population, robotic automation has become a critical component in precision agriculture. Leaf-level hyperspectral spectroscopy is shown to be a powerful tool for phenotyping, monitoring crop health, identifying essential nutrients within plants as well as detecting diseases and water stress. This work introduces RoMu4o, a robotic manipulation unit for orchard operations offering an automated solution for proximal hyperspectral leaf sensing. This ground robot is equipped with a 6DOF robotic arm and vision system for real-time deep learning-based image processing and motion planning. We developed robust perception and manipulation pipelines that enable the robot to successfully grasp target leaves and perform spectroscopy. These frameworks operate synergistically to identify and extract the 3D structure of leaves from an observed batch of foliage, propose 6D poses, and generate collision-free constraint-aware paths for precise leaf manipulation. The end-effector of the arm features a compact design that integrates an independent lighting source with a hyperspectral sensor, enabling high-fidelity data acquisition while streamlining the calibration process for accurate measurements. Our ground robot is engineered to operate in unstructured orchard environments. However, the performance of the system is evaluated in both indoor and outdoor plant models. The system demonstrated reliable performance for 1-LPB hyperspectral sampling, achieving 95% success rate in lab trials and 79% in field trials. Field experiments revealed an overall success rate of 70% for autonomous leaf grasping and hyperspectral measurement in a pistachio orchard. The open-source repository is available at: https://github.com/mehradmrt/UCM-AgBot-ROS2