Precision Harvesting in Cluttered Environments: Integrating End Effector Design with Dual Camera Perception
作者: Kendall Koe, Poojan Kalpeshbhai Shah, Benjamin Walt, Jordan Westphal, Samhita Marri, Shivani Kamtikar, James Seungbum Nam, Naveen Kumar Uppalapati, Girish Krishnan, Girish Chowdhary
分类: cs.RO
发布日期: 2025-01-31
💡 一句话要点
针对高密度环境，提出双相机感知与末端执行器协同设计的精准采摘方案
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 机器人采摘 计算机视觉 双目视觉 手眼标定 农业自动化
📋 核心要点
- 现有采摘机器人在结构化、低密度环境下表现良好，但在高密度农业环境中面临挑战，如空间狭小、遮挡严重。
- 论文提出一种双相机感知与末端执行器协同设计的方案，利用全局相机进行初步检测，手眼相机进行精确定位，实现闭环视觉反馈。
- 实验结果表明，该系统在高密度环境中能够以较高的成功率和较快的速度采摘樱桃番茄，验证了方案的有效性。
📝 摘要（中文）
针对特种作物产业中劳动力短缺的问题，亟需机器人自动化来提高农业效率和生产力。先前的采摘系统在无杂乱和结构化的环境中表现良好。然而，高密度环境更加紧凑和杂乱，需要重新考虑大型系统和夹持器的外形尺寸。本文提出了一种新颖的协同设计框架，该框架结合了全局检测相机和局部手眼相机，通过闭环视觉反馈和可靠的错误处理，实现了小果实的精确定位。在高密度环境中的田间实验表明，我们的系统平均可以采摘85.0%的樱桃番茄，平均耗时10.98秒。
🔬 方法详解
问题定义：论文旨在解决高密度农业环境中，机器人难以精准采摘果实的问题。现有方法通常依赖于大型、笨重的机器人系统，难以适应高密度环境的狭小空间。此外，遮挡问题也使得果实的定位和抓取变得困难。因此，需要一种能够在高密度、杂乱环境中实现精准采摘的机器人系统。
核心思路：论文的核心思路是采用双相机系统进行协同感知，并结合优化的末端执行器设计，实现精准采摘。全局相机用于初步检测果实的位置，手眼相机用于精确定位和姿态估计。通过闭环视觉反馈，系统可以实时调整末端执行器的姿态，从而实现可靠的抓取。
技术框架：该系统的整体架构包含以下几个主要模块：1) 全局相机：用于检测整个场景中的果实，并提供初步的位置信息。2) 手眼相机：安装在末端执行器上，用于精确定位目标果实，并估计其姿态。3) 末端执行器：用于抓取果实，其设计需要考虑到高密度环境的特殊性，例如尺寸、灵活性等。4) 控制系统：根据相机提供的视觉信息，控制末端执行器的运动，实现精准采摘。
关键创新：该论文的关键创新在于双相机感知与末端执行器的协同设计。通过全局相机和手眼相机的结合，系统可以克服高密度环境中的遮挡问题，实现精准的果实定位。此外，末端执行器的优化设计也提高了抓取的成功率。与现有方法相比，该方法更适用于高密度、杂乱的农业环境。
关键设计：全局相机采用高分辨率相机，以确保能够检测到场景中的所有果实。手眼相机采用深度相机，以获取果实的深度信息，从而实现更精确的姿态估计。末端执行器采用轻量化设计，并具有多个自由度，以适应不同形状和大小的果实。控制系统采用PID控制算法，以实现快速、稳定的运动控制。
🖼️ 关键图片
📊 实验亮点
在高密度环境中的田间实验表明，该系统平均可以采摘85.0%的樱桃番茄，平均耗时10.98秒。这些结果表明，该系统在高密度环境中具有较高的采摘成功率和较快的采摘速度。与传统的人工采摘相比，该系统可以显著提高采摘效率，降低劳动成本。
🎯 应用场景
该研究成果可应用于各种高密度农业环境中的果实采摘，例如温室、高密度果园等。通过机器人自动化采摘，可以有效解决劳动力短缺问题，提高农业生产效率和产品质量。此外，该技术还可以扩展到其他需要精确定位和抓取的应用场景，例如医疗手术、精密制造等。
📄 摘要（原文）
Due to labor shortages in specialty crop industries, a need for robotic automation to increase agricultural efficiency and productivity has arisen. Previous manipulation systems perform well in harvesting in uncluttered and structured environments. High tunnel environments are more compact and cluttered in nature, requiring a rethinking of the large form factor systems and grippers. We propose a novel codesigned framework incorporating a global detection camera and a local eye-in-hand camera that demonstrates precise localization of small fruits via closed-loop visual feedback and reliable error handling. Field experiments in high tunnels show our system can reach an average of 85.0\% of cherry tomato fruit in 10.98s on average.