Pedicel-Targeted Strawberry Harvesting via Imitation Learning on a Low-Cost Teleoperated Robotic Arm

📄 arXiv: 2610.22765v1 📥 PDF

作者: Nitin Rai, Won Suk Lee, Hongyoung Leon, Heping Zhu

分类: cs.RO

发布日期: 2026-10-16

备注: 4 pages, 3 figures. This paper was peer-reviewed and accepted in the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), "From Innovation to Adoption: Hardware, AI, Policy, and Funding Challenges in Agricultural Robotics Workshop," Pittsburgh, Pennsylvania, 2026

🔗 代码/项目: GITHUB | HUGGINGFACE | HUGGINGFACE

💡 一句话要点

提出基于模仿学习的草莓 pedicel 目标采摘方法以解决精准抓取问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模仿学习 农业机器人 视觉运动控制 草莓采摘 深度学习

📋 核心要点

  1. 草莓 pedicel 抓取的精准性是一个挑战，现有方法难以在复杂环境中实现有效的视觉与运动规划结合。
  2. 本文提出了一种基于模仿学习的管道，通过人类遥操作演示来训练抓取策略，整合了视觉、运动规划与接触操作。
  3. 训练后的策略在 100K 梯度步骤中实现了损失从 2.84 降至 0.091，展示了显著的性能提升和稳定性。

📝 摘要（中文）

草莓采摘中的精准 pedicel 抓取仍然是一个关键瓶颈，主要由于 pedicel 的小直径（1.3-3 mm）、与周围叶片的颜色相似性以及需要精确的力控制以实现干净的脱离。作为市场级作物，草莓的美观价值使得无伤害的 pedicel 脱离比直接抓取果实更为重要。传统方法在统一视觉模型、运动规划和接触操作方面存在困难，尤其是在遮挡的树冠环境中。因此，本文提出了一种视觉运动模仿学习管道，旨在通过收集人类遥操作演示来统一感知、运动规划和接触操作，训练出基于 ResNet-50 视觉骨干的 Action Chunking with Transformers (ACT) 策略，并在 Jetson AGX Orin 边缘平台上以 15 Hz 自主部署。经过 100K 梯度步骤的训练，策略的损失从 2.84 降至 0.091。

🔬 方法详解

问题定义：本文旨在解决草莓采摘中 pedicel 的精准抓取问题。现有方法在视觉模型、运动规划和接触操作的统一性上存在不足，尤其是在复杂的遮挡环境中。

核心思路：论文提出了一种基于模仿学习的管道，通过人类遥操作演示来训练抓取策略。该方法通过整合感知、运动规划和接触操作，提升了抓取的精准性和稳定性。

技术框架：整体架构包括数据收集、策略训练和自主部署三个主要阶段。首先，通过人类遥操作收集演示数据；然后，利用 ResNet-50 作为视觉骨干训练 ACT 策略；最后，在 Jetson AGX Orin 平台上实现自主抓取。

关键创新：最重要的技术创新在于提出了 Action Chunking with Transformers (ACT) 策略，能够有效整合视觉与运动信息，克服了传统方法的局限性。

关键设计：在训练过程中，采用了特定的损失函数以优化抓取精度，并通过 130 个演示数据进行训练，确保了模型的泛化能力和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，训练后的策略在 100K 梯度步骤中，损失从 2.84 降至 0.091，表明模型在抓取任务中的稳定性和精准性显著提升。该方法在复杂环境中的表现优于传统抓取技术。

🎯 应用场景

该研究的潜在应用领域包括农业机器人、智能采摘系统以及精准农业。通过实现无损伤的草莓采摘，能够提升农业生产效率和果实质量，具有重要的实际价值和市场前景。

📄 摘要（原文）

Precise pedicel-targeted grasping in strawberry harvesting remains a critical bottleneck due to the pedicel's small diameter (1.3-3 mm), color similarity with surrounding foliage, and precise force control required for clean abscission zone detachment. As a market-grade crop, strawberry aesthetic value makes bruise-free pedicel detachment essential over direct fruit grasping. Classical approaches struggle to unify vision models, motion planning, and contact manipulation into a robust framework, particularly in occluded canopy environments. Therefore, this work presents a visuomotor imitation learning pipeline for pedicel-targeted strawberry harvesting that unifies perception, motion planning, and contact manipulation from collecting human teleoperation demonstrations, training an Action Chunking with Transformers (ACT) policy with a ResNet-50 visual backbone, and deploying the learned policy autonomously on a Jetson AGX Orin edge platform at 15 Hz. The trained policy achieved consistent loss convergence from 2.84 to 0.091 over 100K gradient steps on 130 demonstrations. We have also established a reproducible open-source pipeline with publicly released dataset and model weights for the agricultural robotics community. Full dataset is available at, https://huggingface.co/datasets/nitindominicrai/strawberry_pedicel_grasp_teleoperation and trained policy at, https://huggingface.co/nitindominicrai/act_strawberry_pedicel. To replicate this work, all code, configurations, and deployment instructions are publicly available at, https://github.com/nitin-dominic/autonomous_strawberry_pedicel_harvesting.