Robotic 3D Flower Pose Estimation for Small-Scale Urban Farms

📄 arXiv: 2509.02870v1 📥 PDF

作者: Harsh Muriki, Hong Ray Teo, Ved Sengupta, Ai-Ping Hu

分类: cs.RO

发布日期: 2025-09-02

备注: 7 pages, 7 figures

DOI: 10.1109/ICRA55743.2025.11128713

🔗 代码/项目: GITHUB

💡 一句话要点

提出一种基于FarmBot的草莓花朵三维姿态估计方法，用于小型城市农场机器人授粉。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 机器人授粉 三维姿态估计 点云处理 二维目标检测 城市农业 FarmBot 植物表型分析

📋 核心要点

  1. 现有方法难以在低成本机器人平台上实现精确的花朵姿态估计，限制了小型城市农场的自动化植物表型分析。
  2. 该方法通过将三维点云转换为多个二维图像，并结合二维目标检测与三维形状拟合，实现花朵姿态的精确估计。
  3. 实验结果表明，该方法能够以较低的姿态误差检测到大部分花朵，为机器人授粉提供了可行的解决方案。

📝 摘要（中文）

本文提出了一种针对小型城市农场的草莓花朵三维姿态估计方法，旨在利用低成本机器人（如FarmBot）实现植物表型分析的自动化。该方法使用配备定制相机末端执行器的FarmBot，从获取的三维点云模型中估计草莓花朵的姿态，以用于机器人授粉。该算法通过沿点云的正交轴平移各个占据栅格，获得对应于六个视点的二维图像。然后，使用二维目标检测模型识别二维边界框，并将其转换到三维空间以提取花朵点云。通过将超椭球体、抛物面和平面三种形状拟合到花朵点云来估计姿态，并与手动标注的真实值进行比较。实验结果表明，该方法成功找到约80%的扫描花朵，平均花朵姿态误差为7.7度，足以满足机器人授粉的需求，并与以往的研究结果相媲美。所有代码将在https://github.com/harshmuriki/flowerPose.git上提供。

🔬 方法详解

问题定义：论文旨在解决小型城市农场中，如何利用低成本机器人平台（如FarmBot）实现草莓花朵三维姿态的精确估计问题。现有方法在低成本、低算力平台上难以达到足够的精度，限制了机器人授粉等自动化任务的应用。

核心思路：论文的核心思路是将三维点云数据转换为多个二维图像，利用成熟的二维目标检测技术识别花朵，再将二维检测结果反投影到三维空间，最后通过三维形状拟合来估计花朵的姿态。这种方法降低了三维直接处理的复杂度，利用了现有的二维图像处理技术。

技术框架：整体流程包括：1) 使用FarmBot获取草莓植株的三维点云数据；2) 将点云数据沿三个正交轴平移，生成六个视角的二维图像；3) 使用预训练的二维花朵检测模型在每个图像中检测花朵，得到二维边界框；4) 将二维边界框反投影到三维空间，提取花朵的点云；5) 将超椭球体、抛物面和平面三种形状拟合到花朵点云，选择最佳拟合结果作为花朵姿态的估计。

关键创新：该方法的主要创新在于将三维姿态估计问题分解为二维目标检测和三维形状拟合两个步骤，利用二维目标检测的成熟技术来降低三维处理的难度。此外，通过多视角转换和多种形状拟合，提高了姿态估计的鲁棒性和准确性。

关键设计：关键设计包括：1) 使用占据栅格沿正交轴平移生成二维图像，保证了花朵在不同视角下的可见性；2) 使用预训练的二维花朵检测模型，避免了从头训练的成本；3) 采用超椭球体、抛物面和平面三种形状进行拟合，并选择最佳拟合结果，提高了姿态估计的准确性；4) 姿态误差的计算采用手动标注的ground truth进行对比。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法能够成功找到约80%的扫描花朵，平均花朵姿态误差为7.7度。这一精度足以满足机器人授粉的需求，并且与以往的研究结果相媲美。该方法在低成本的FarmBot平台上实现了较高的花朵姿态估计精度，验证了其在小型城市农场中的应用潜力。

🎯 应用场景

该研究成果可应用于小型城市农场的自动化管理，例如机器人授粉、精准施肥、病虫害检测等。通过降低人工成本和提高生产效率，有助于推动城市农业的发展，并为解决城市粮食安全问题提供新的思路。未来，该方法可以扩展到其他植物的姿态估计，并应用于更广泛的农业场景。

📄 摘要（原文）

The small scale of urban farms and the commercial availability of low-cost robots (such as the FarmBot) that automate simple tending tasks enable an accessible platform for plant phenotyping. We have used a FarmBot with a custom camera end-effector to estimate strawberry plant flower pose (for robotic pollination) from acquired 3D point cloud models. We describe a novel algorithm that translates individual occupancy grids along orthogonal axes of a point cloud to obtain 2D images corresponding to the six viewpoints. For each image, 2D object detection models for flowers are used to identify 2D bounding boxes which can be converted into the 3D space to extract flower point clouds. Pose estimation is performed by fitting three shapes (superellipsoids, paraboloids and planes) to the flower point clouds and compared with manually labeled ground truth. Our method successfully finds approximately 80% of flowers scanned using our customized FarmBot platform and has a mean flower pose error of 7.7 degrees, which is sufficient for robotic pollination and rivals previous results. All code will be made available at https://github.com/harshmuriki/flowerPose.git.