A Novel Approach to Tomato Harvesting Using a Hybrid Gripper with Semantic Segmentation and Keypoint Detection

📄 arXiv: 2512.03684v1 📥 PDF

作者: Shahid Ansari, Mahendra Kumar Gohil, Yusuke Maeda, Bishakh Bhattacharya

分类: cs.RO

发布日期: 2025-12-03

💡 一句话要点

提出一种基于混合夹爪的番茄采摘系统，结合语义分割与关键点检测实现精准采摘。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知 (Perception & SLAM)

关键词: 番茄采摘 机器人夹爪 语义分割 关键点检测 力反馈控制 粒子群优化 农业机器人

📋 核心要点

  1. 现有番茄采摘机器人难以兼顾采摘效率和果实完整性，尤其是在复杂遮挡和光照条件下。
  2. 设计了一种混合夹爪，结合软硬件结构，实现轻柔抓取和精准切割，并集成视觉感知与力反馈控制。
  3. 实验结果表明，该系统能以80%的成功率完成采摘，平均周期24.34秒，且抓取力控制在0.20-0.50N。

📝 摘要（中文）

本文提出了一种用于自主番茄采摘的系统，该系统以混合机器人夹爪为核心，该夹爪结合了六个软性胀形手指、刚性外骨骼和一个乳胶篮，实现了温和的笼状抓取。夹爪由伺服驱动的苏格兰轭机构驱动，并包含用于分离果实的锥形截面分离叶片，以及用于切割果柄的集成微型伺服切割器。在感知方面，RGB-D相机和基于Detectron2的流程执行成熟/未成熟番茄的语义分割，以及在遮挡和可变光照下果柄和果实中心的关键点定位。利用虚功原理推导的解析模型将伺服扭矩与抓取力相关联，从而能够在设计层面进行关于驱动需求的推理。在执行过程中，使用比例-积分-微分控制器，并结合安装在选定手指上的力敏电阻的反馈，实现闭环抓取力调节，以防止滑动和擦伤。运动执行由基于粒子群优化（PSO）的5-DOF机械臂轨迹规划支持。实验表明，完整的采摘周期（接近、分离、切割、抓取、运输、释放）的平均周期时间为24.34秒，总体成功率约为80％，同时保持较低的抓取力（0.20-0.50 N）。这些结果验证了所提出的混合夹爪和集成的视觉-控制流程在杂乱环境中可靠采摘的有效性。

🔬 方法详解

问题定义：论文旨在解决复杂环境下番茄的自主采摘问题。现有方法通常依赖于刚性夹爪，容易损伤果实，且在遮挡和光照变化下，视觉识别精度会显著下降，导致采摘失败率升高。因此，需要一种能够轻柔抓取、精准识别和适应复杂环境的采摘系统。

核心思路：论文的核心思路是设计一种混合夹爪，结合软硬件的优势，实现轻柔且稳定的抓取。同时，利用深度学习进行精准的视觉感知，并结合力反馈控制，保证采摘过程的安全性和可靠性。通过将视觉感知、力控制和运动规划相结合，实现高效的自主采摘。

技术框架：该番茄采摘系统主要包含以下几个模块：1) 基于RGB-D相机的视觉感知模块，使用Detectron2进行番茄的语义分割和关键点检测；2) 混合机器人夹爪，由软性胀形手指、刚性外骨骼和乳胶篮组成，实现轻柔抓取；3) 伺服驱动的苏格兰轭机构，用于驱动夹爪的运动；4) 基于力敏电阻的力反馈控制模块，用于调节抓取力；5) 基于粒子群优化（PSO）的轨迹规划模块，用于规划机械臂的运动轨迹。整个流程包括接近、分离、切割、抓取、运输和释放等步骤。

关键创新：该论文的关键创新点在于混合夹爪的设计和视觉-控制的集成。混合夹爪结合了软硬件的优势，既保证了抓取的稳定性，又避免了对果实的损伤。视觉-控制的集成使得系统能够根据视觉信息调整抓取力，从而适应不同的果实大小和形状。此外，基于虚功原理的解析模型为夹爪的设计提供了理论依据。

关键设计：在视觉感知方面，使用了Detectron2框架，并针对番茄的特点进行了优化，以提高在遮挡和光照变化下的识别精度。在夹爪设计方面，软性胀形手指的材料和形状经过精心选择，以保证抓取的轻柔性和稳定性。力反馈控制方面，PID控制器的参数经过调整，以实现快速且稳定的抓取力调节。轨迹规划方面，PSO算法的参数经过优化，以保证机械臂运动的平滑性和效率。

📊 实验亮点

实验结果表明，该系统能够以平均24.34秒的周期完成一次完整的番茄采摘，总体成功率达到约80%。同时，抓取力被控制在0.20-0.50 N的较低水平，有效避免了果实损伤。这些结果验证了所提出的混合夹爪和集成视觉-控制流程在复杂环境中进行可靠采摘的有效性。

🎯 应用场景

该研究成果可应用于现代农业的自动化采摘，尤其适用于温室和垂直农场等环境。通过降低人工成本、提高采摘效率和减少果实损伤，该系统有助于提高农业生产的经济效益和可持续性。未来，该技术可扩展到其他水果和蔬菜的采摘，推动农业机器人的发展。

📄 摘要（原文）

This paper presents an autonomous tomato-harvesting system built around a hybrid robotic gripper that combines six soft auxetic fingers with a rigid exoskeleton and a latex basket to achieve gentle, cage-like grasping. The gripper is driven by a servo-actuated Scotch--yoke mechanism, and includes separator leaves that form a conical frustum for fruit isolation, with an integrated micro-servo cutter for pedicel cutting. For perception, an RGB--D camera and a Detectron2-based pipeline perform semantic segmentation of ripe/unripe tomatoes and keypoint localization of the pedicel and fruit center under occlusion and variable illumination. An analytical model derived using the principle of virtual work relates servo torque to grasp force, enabling design-level reasoning about actuation requirements. During execution, closed-loop grasp-force regulation is achieved using a proportional--integral--derivative controller with feedback from force-sensitive resistors mounted on selected fingers to prevent slip and bruising. Motion execution is supported by Particle Swarm Optimization (PSO)--based trajectory planning for a 5-DOF manipulator. Experiments demonstrate complete picking cycles (approach, separation, cutting, grasping, transport, release) with an average cycle time of 24.34~s and an overall success rate of approximately 80\%, while maintaining low grasp forces (0.20--0.50~N). These results validate the proposed hybrid gripper and integrated vision--control pipeline for reliable harvesting in cluttered environments.