Sim-to-Real Reinforcement Learning for Path-Safe Target Reaching in Robotic Harvesting of Hydroponic Lettuce
作者: Al Bashir, Partho Ghose, Yibin Wang, Robert G. Hardin, Joshua Peeples, Genhua Niu, Azlan Zahid
分类: cs.RO
发布日期: 2026-10-15
💡 一句话要点
提出PSA-PPO以解决水培生菜机器人采摘中的路径安全问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人采摘 路径规划 强化学习 水培技术 农业自动化 目标条件优化 空间约束 安全编码
📋 核心要点
- 现有的机器人采摘方法在精确定位和路径安全性方面存在不足，尤其是在复杂的温室环境中。
- 本研究提出的PSA-PPO框架通过引入目标条件观察和空间约束，优化了机器人在受限环境中的操作能力。
- 实验结果表明，PSA-PPO在150个目标的测试中实现了94.7%的到达率，显著优于传统路径规划方法。
📝 摘要（中文）
机器人采摘需要精确的操作，以确保末端执行器的准确定位，尤其是在受限的工作空间中。本研究提出了一种路径安全的目标条件局部到达框架——路径安全方法近端策略优化（PSA-PPO），旨在解决温室中营养膜技术（NFT）水培生菜的机器人采摘问题。PSA-PPO在标准的剪切PPO目标基础上，引入了以采摘为导向的策略制定，结合了目标条件观察、走廊感知空间约束、基于轨迹历史的安全编码和特定任务的成功标准。PSA-PPO在Isaac Lab中完全训练，并成功转移到物理UR10e机器人手臂上，无需任何现实世界的策略微调。在150个计划目标的控制物理基准测试中，PSA-PPO达到了94.7%的最高到达率，超越了其他基线方法，同时在最终接近阶段减少了39.8%至73.0%的中位RMS抖动。
🔬 方法详解
问题定义：本论文旨在解决机器人在水培生菜采摘过程中，如何在受限工作空间中实现精确的路径安全性和目标到达率的问题。现有方法往往忽视了环境约束和路径安全性，导致采摘效率低下和操作不稳定。
核心思路：论文提出的PSA-PPO框架通过结合目标条件观察和走廊感知空间约束，优化了机器人在复杂环境中的路径规划。该方法强调了路径安全性的重要性，认为仅优化终点准确性是不够的。
技术框架：PSA-PPO的整体架构包括目标条件观察模块、空间约束模块、轨迹历史安全编码模块和任务成功标准模块。通过这些模块的协同工作，机器人能够在复杂环境中安全有效地完成采摘任务。
关键创新：PSA-PPO的主要创新在于引入了路径安全性和走廊感知的概念，这与传统的路径规划方法有本质区别。通过优化这些因素，PSA-PPO显著提高了机器人在受限空间中的操作性能。
关键设计：在设计中，PSA-PPO保留了标准的剪切PPO目标，并在此基础上进行了改进。关键参数设置包括目标条件观察的整合、空间约束的定义以及基于历史轨迹的安全编码，这些设计确保了机器人在复杂环境中的高效采摘。
🖼️ 关键图片
📊 实验亮点
在150个目标的控制实验中，PSA-PPO实现了94.7%的目标到达率，显著高于其他基线方法（如Cartesian+TOTG的86.0%和RRT*的80.0%）。此外，PSA-PPO在最终接近阶段减少了39.8%至73.0%的中位RMS抖动，显示出其在路径安全性方面的优势。
🎯 应用场景
该研究的成果可广泛应用于农业自动化领域，特别是在温室环境中的机器人采摘系统。通过提高机器人在复杂环境中的操作能力，PSA-PPO有望提升水培作物的采摘效率，降低人工成本，并推动智能农业的发展。
📄 摘要（原文）
Robotic harvesting requires precise manipulation to ensure accurate positioning of the end-effector, especially in a constraint workspace. This study introduces the Path-Safe Approach Proximal Policy Optimization (PSA-PPO), a target-conditioned local reaching framework designed for robotic harvesting of nutrient film technique (NFT)-hydroponic lettuce in greenhouses. The proposed PSA-PPO preserves the standard clipped PPO objective while introducing a harvesting-oriented policy formulation that integrates target-conditioned observations, corridor-aware spatial constraints, trajectory-history-based safety encoding, and task-specific success criteria for constrained robotic manipulation. PSAPPO was trained entirely in Isaac Lab and successfully transferred to a physical UR10e robotic arm without any real-world policy fine-tuning. In a controlled physical benchmark against 150 scheduled targets, PSA-PPO achieved the highest reaching rate of 94.7%, outperforming Cartesian+TOTG (86.0%), RRTConnect (88.0%), and RRT* (80.0%), while reducing median RMS jerk by 39.8 to 73.0% relative to the classical planners during the final approach segment. A formulation ablation evaluated over 200 simulation targets demonstrates that path-safety and side-corridor shaping are the principal drivers of harvesting-compatible performance: removing either term substantially degrades strict success even when terminal endpoint accuracy is preserved or improved, confirming that optimization toward the endpoint alone is an insufficient objective for constrained crop-proximal manipulation. Finally, PSA-PPO was integrated with an RGB-D vision module and an end-effector and evaluated as a complete greenhouse harvesting system across 144 lettuce harvesting attempts, achieving 94.4% vision-guided target reaching and 86.1% complete harvesting success.