FloPE: Flower Pose Estimation for Precision Pollination

📄 arXiv: 2503.11692v2 📥 PDF

作者: Rashik Shrestha, Madhav Rijal, Trevor Smith, Yu Gu

分类: cs.RO, cs.CV

发布日期: 2025-03-08 (更新: 2025-07-30)

备注: Accepted to IROS 2025. Project page: https://wvu-irl.github.io/flope-irl/

💡 一句话要点

FloPE：面向精准授粉的花朵姿态估计框架，适用于计算受限的机器人系统

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 花朵姿态估计 机器人授粉 3D高斯溅射 知识蒸馏 合成数据 农业机器人

📋 核心要点

  1. 机器人授粉面临花朵自然变异、花簇以及授粉精度要求高等挑战，传统方法难以兼顾精度与效率。
  2. FloPE利用3D高斯溅射生成合成数据，并采用知识蒸馏技术，将高精度教师模型的知识迁移到轻量级学生模型。
  3. 实验结果表明，FloPE在低计算成本下实现了较高的姿态估计精度和授粉成功率，优于现有机器人授粉技术。

📝 摘要（中文）

本研究提出了一种名为FloPE的花朵姿态估计框架，用于计算资源受限的机器人授粉系统。由于自然授粉媒介数量的减少，机器人授粉被认为是确保全球粮食安全的一种补充手段。然而，由于花朵的自然变异性、花簇的存在以及授粉时对花朵脆弱性的高精度要求，花朵姿态估计极具挑战性。该方法利用3D高斯溅射生成具有精确姿态标注的逼真合成数据集，从而能够将知识从高容量教师模型有效地提炼到轻量级学生模型，以实现高效的推理。该方法在单臂和多臂机器人平台上进行了评估，在低计算成本下实现了0.6厘米的平均姿态估计误差和19.14度的角度误差。实验验证了FloPE的有效性，授粉成功率高达78.75%，优于以往的机器人授粉技术。

🔬 方法详解

问题定义：论文旨在解决机器人授粉中花朵姿态估计的问题。现有方法难以在计算资源有限的机器人平台上实现高精度和高效率的姿态估计，尤其是在花朵形态各异、存在花簇的情况下，对精度要求更高。

核心思路：论文的核心思路是利用合成数据进行训练，并采用知识蒸馏技术。通过3D高斯溅射生成逼真的合成花朵图像，并使用高容量的教师模型进行训练，然后将学习到的知识迁移到轻量级的学生模型，从而实现高效的推理。

技术框架：FloPE框架主要包含以下几个阶段：1) 使用3D高斯溅射生成合成数据集，并带有精确的姿态标注；2) 训练一个高容量的教师模型，用于学习花朵的姿态信息；3) 使用知识蒸馏技术，将教师模型的知识迁移到一个轻量级的学生模型；4) 在机器人平台上部署学生模型，进行实时的花朵姿态估计。

关键创新：该方法最重要的创新点在于利用3D高斯溅射生成合成数据，并结合知识蒸馏技术，实现了在计算资源受限的机器人平台上进行高精度、高效率的花朵姿态估计。与现有方法相比，该方法无需大量真实数据标注，并且能够有效地利用合成数据进行训练。

关键设计：论文中使用了3D高斯溅射来生成逼真的花朵图像，并对图像进行了精确的姿态标注。在知识蒸馏过程中，使用了合适的损失函数来保证学生模型能够有效地学习教师模型的知识。此外，还对学生模型的网络结构进行了优化，以提高其推理速度和精度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FloPE在单臂和多臂机器人平台上进行了验证，实现了0.6厘米的平均姿态估计误差和19.14度的角度误差，计算成本较低。实验结果表明，FloPE的授粉成功率高达78.75%，优于以往的机器人授粉技术，证明了该方法的有效性。

🎯 应用场景

FloPE技术可应用于农业机器人领域，特别是精准授粉机器人。通过精确估计花朵姿态，机器人可以更有效地进行授粉，提高农作物产量和质量。该技术还有潜力应用于其他需要精确姿态估计的机器人应用，例如水果采摘、植物修剪等。

📄 摘要（原文）

This study presents Flower Pose Estimation (FloPE), a real-time flower pose estimation framework for computationally constrained robotic pollination systems. Robotic pollination has been proposed to supplement natural pollination to ensure global food security due to the decreased population of natural pollinators. However, flower pose estimation for pollination is challenging due to natural variability, flower clusters, and high accuracy demands due to the flowers' fragility when pollinating. This method leverages 3D Gaussian Splatting to generate photorealistic synthetic datasets with precise pose annotations, enabling effective knowledge distillation from a high-capacity teacher model to a lightweight student model for efficient inference. The approach was evaluated on both single and multi-arm robotic platforms, achieving a mean pose estimation error of 0.6 cm and 19.14 degrees within a low computational cost. Our experiments validate the effectiveness of FloPE, achieving up to 78.75% pollination success rate and outperforming prior robotic pollination techniques.