Find the Fruit: Zero-Shot Sim2Real RL for Occlusion-Aware Plant Manipulation

📄 arXiv: 2505.16547v2 📥 PDF

作者: Nitesh Subedi, Hsin-Jung Yang, Devesh K. Jha, Soumik Sarkar

分类: cs.RO, cs.AI

发布日期: 2025-05-22 (更新: 2025-09-30)

备注: 9 Pages, 3 Figures, 1 Table

💡 一句话要点

提出零样本Sim2Real强化学习框架以解决植物遮挡问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自动化采摘 强化学习 Sim2Real 植物操作 遮挡感知 机器人技术 结构不确定性

📋 核心要点

  1. 现有自动化采摘系统在面对植物遮挡和结构不确定性时，往往难以设计出可靠的操作控制器，导致性能不足。
  2. 本文提出了一种Sim2Real强化学习框架，通过在模拟环境中学习策略，解决植物遮挡问题，并实现高效的果实揭示。
  3. 实验结果显示，该系统在多个真实植物设置中成功率达到86.7%，有效应对了遮挡变化和结构不确定性。

📝 摘要（中文）

在开放环境中，自动化采摘面临复杂的操作问题，尤其是在显著遮挡和结构不确定性下。现有方法在设计可靠的采摘控制器时受到感知和建模不确定性的影响，导致部署时性能不佳。本文提出了一种针对遮挡的植物操作的Sim2Real强化学习框架，通过在模拟环境中学习策略，重新定位植物的茎和叶以揭示目标果实。我们的方法将高层运动规划与低层顺应控制解耦，从而简化了Sim2Real的迁移。实验表明，该系统在多个真实植物设置中成功率高达86.7%，展现了对遮挡变化和结构不确定性的鲁棒性。

🔬 方法详解

问题定义：本文旨在解决自动化采摘中植物遮挡和结构不确定性带来的操作挑战。现有方法在应对这些问题时，往往由于感知和建模的不确定性而表现不佳。

核心思路：我们提出的框架通过在模拟环境中学习操作策略，解耦高层运动规划与低层顺应控制，从而简化Sim2Real的迁移过程。这种设计使得学习到的策略能够在不同植物的刚度和形态上进行泛化。

技术框架：整体架构包括两个主要模块：高层运动规划模块负责生成操作目标，低层顺应控制模块则确保在实际操作中对环境的适应性。通过这种分层设计，系统能够有效应对复杂的植物结构。

关键创新：本文的主要创新在于将高层和低层控制解耦，允许在多样化的植物环境中实现策略的泛化。这一方法与传统的端到端学习方法相比，显著提高了在不同植物上的适应能力。

关键设计：在技术细节上，我们使用了特定的损失函数来优化策略，并设计了适应不同植物特性的网络结构，以确保在实际应用中的高效性和可靠性。

📊 实验亮点

实验结果显示，系统在多个真实植物设置中的成功率高达86.7%，相较于传统方法，表现出更强的鲁棒性，能够有效应对遮挡变化和植物结构的不确定性，展现了显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括农业自动化、智能机器人采摘系统等。通过提高自动化采摘的效率和准确性，能够显著降低人力成本，并提高作物收成的质量和数量。未来，该技术有望在更广泛的农业场景中得到应用，推动智能农业的发展。

📄 摘要（原文）

Autonomous harvesting in the open presents a complex manipulation problem. In most scenarios, an autonomous system has to deal with significant occlusion and require interaction in the presence of large structural uncertainties (every plant is different). Perceptual and modeling uncertainty make design of reliable manipulation controllers for harvesting challenging, resulting in poor performance during deployment. We present a sim2real reinforcement learning (RL) framework for occlusion-aware plant manipulation, where a policy is learned entirely in simulation to reposition stems and leaves to reveal target fruit(s). In our proposed approach, we decouple high-level kinematic planning from low-level compliant control which simplifies the sim2real transfer. This decomposition allows the learned policy to generalize across multiple plants with different stiffness and morphology. In experiments with multiple real-world plant setups, our system achieves up to 86.7% success in exposing target fruits, demonstrating robustness to occlusion variation and structural uncertainty.