Hierarchical Tri-manual Planning for Vision-assisted Fruit Harvesting with Quadrupedal Robots
作者: Zhichao Liu, Jingzong Zhou, Konstantinos Karydis
分类: cs.RO
发布日期: 2024-09-25 (更新: 2025-05-12)
备注: 7 pages, 8 figures. Accepted by ICRA 2025
💡 一句话要点
提出基于三臂四足机器人的分层规划方法，解决复杂环境下的水果采摘问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 四足机器人 水果采摘 三臂机器人 分层规划 视觉感知 农业自动化 运动规划
📋 核心要点
- 现有双臂机器人难以胜任复杂自然环境下的水果采摘任务，面临操作空间受限和碰撞风险高等挑战。
- 论文提出分层三臂规划方法，结合视觉感知和激光雷达定位，实现四足机器人自主水果采摘。
- 实验结果表明，该方法在实验室环境下成功率达90%，并在真实环境中表现出良好的鲁棒性和效率。
📝 摘要（中文）
本文旨在解决多臂四足机器人在复杂自然环境中高效采摘水果的难题。为了克服传统双臂操作的局限性，我们推出了首款三臂四足机器人LocoHarv-3，并提出了一种新颖的分层三臂规划方法，实现了无碰撞轨迹的自动化水果采摘。我们全面的半自主框架集成了基于激光雷达的里程计和地图构建技术支持的遥操作，以及基于学习的视觉感知，以实现精确的水果检测和姿态估计。通过一系列受控的室内实验（使用运动捕捉系统）和广泛的自然环境现场测试验证了该方法。结果表明，在实验室环境中，单次尝试的成功率达到90％，现场试验进一步验证了该系统在更具挑战性的真实环境中的鲁棒性和效率。
🔬 方法详解
问题定义：论文旨在解决复杂自然环境下，四足机器人进行高效、安全的自动化水果采摘问题。现有双臂机器人操作空间有限，难以应对复杂环境中的障碍物和不确定性，容易发生碰撞，导致采摘效率低下。因此，需要一种能够充分利用机器人操作能力，并有效避免碰撞的规划方法。
核心思路：论文的核心思路是利用三臂机器人的冗余自由度，通过分层规划，将复杂的采摘任务分解为多个子任务，并分别进行优化。同时，结合视觉感知和激光雷达定位，实现对环境的精确感知和定位，从而保证规划的准确性和安全性。
技术框架：整体框架包含以下几个主要模块：1) 基于激光雷达的里程计和地图构建模块，用于实现机器人的定位和环境建模；2) 基于学习的视觉感知模块，用于检测水果并估计其姿态；3) 分层三臂规划模块，用于生成无碰撞的采摘轨迹；4) 遥操作界面，允许操作员在必要时进行干预。整个流程是半自主的，即机器人主要依靠自主规划完成采摘任务，但在遇到复杂情况时，操作员可以通过遥操作进行辅助。
关键创新：最重要的技术创新点在于提出的分层三臂规划方法。该方法将采摘任务分解为多个层次，例如全局路径规划、抓取姿态规划和精细运动规划。每个层次采用不同的优化目标和约束条件，从而能够有效地利用三臂机器人的冗余自由度，并避免碰撞。与传统的双臂规划方法相比，该方法具有更高的灵活性和适应性。
关键设计：在分层规划中，全局路径规划采用A*算法，抓取姿态规划采用逆运动学方法，精细运动规划采用优化方法，例如RRT-Connect。损失函数的设计考虑了多个因素，例如轨迹长度、平滑度、碰撞风险和关节力矩。网络结构方面，视觉感知模块采用了常用的卷积神经网络，例如ResNet或YOLO，并针对水果检测任务进行了微调。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在实验室受控环境下，该系统单次尝试的采摘成功率达到90%。在真实果园环境中进行的现场试验也验证了该系统的鲁棒性和效率。与传统的人工采摘相比，该系统能够显著提高采摘效率，并降低劳动强度。这些结果表明，该研究具有重要的实际应用价值。
🎯 应用场景
该研究成果可应用于农业自动化领域，提高水果采摘的效率和质量，降低人工成本。此外，该技术还可扩展到其他复杂环境下的多臂机器人操作任务，例如灾害救援、空间探索等，具有广阔的应用前景和重要的实际价值。未来，随着机器人技术的不断发展，该技术有望实现完全自主的水果采摘，进一步推动农业智能化。
📄 摘要（原文）
This paper addresses the challenge of developing a multi-arm quadrupedal robot capable of efficiently harvesting fruit in complex, natural environments. To overcome the inherent limitations of traditional bimanual manipulation, we introduce the first three-arm quadrupedal robot LocoHarv-3 and propose a novel hierarchical tri-manual planning approach, enabling automated fruit harvesting with collision-free trajectories. Our comprehensive semi-autonomous framework integrates teleoperation, supported by LiDAR-based odometry and mapping, with learning-based visual perception for accurate fruit detection and pose estimation. Validation is conducted through a series of controlled indoor experiments using motion capture and extensive field tests in natural settings. Results demonstrate a 90\% success rate in in-lab settings with a single attempt, and field trials further verify the system's robustness and efficiency in more challenging real-world environments.