6D Strawberry Pose Estimation: Real-time and Edge AI Solutions Using Purely Synthetic Training Data
作者: Saptarshi Neil Sinha, Julius Kühn, Mika Silvan Goschke, Michael Weinmann
分类: cs.CV, cs.RO
发布日期: 2025-11-14
💡 一句话要点
提出基于纯合成数据的草莓6D姿态估计方案，适用于实时和边缘AI。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 6D姿态估计 合成数据 农业机器人 边缘AI YOLOX 草莓采摘 自动化 Jetson Orin Nano
📋 核心要点
- 现有水果采摘面临成本高昂和季节性劳动力短缺的挑战，因此需要自动化采摘方案，而准确的6D姿态估计是关键。
- 论文提出一种基于纯合成数据的草莓6D姿态估计方法，利用YOLOX-6D-Pose算法和程序化Blender流程生成逼真数据。
- 实验表明，该模型在NVIDIA RTX 3090和Jetson Orin Nano上均表现良好，尤其Jetson Orin Nano适合资源受限的农业环境。
📝 摘要（中文）
本文提出了一种基于纯合成数据的草莓6D姿态估计方法，旨在解决自动化和选择性水果采摘的需求。该方法利用YOLOX-6D-Pose算法，该算法以YOLOX为骨干网络，兼顾速度和精度，并支持边缘推理。为了解决训练数据不足的问题，我们设计了一个稳健且灵活的流程，通过程序化的Blender流程从各种3D模型生成逼真的合成草莓数据。定量评估表明，我们的模型在NVIDIA RTX 3090和Jetson Orin Nano上都取得了相当的精度，RTX 3090的处理速度更快。Jetson Orin Nano特别适合资源受限的环境，使其成为农业机器人部署的理想选择。定性评估进一步证实了模型的性能，表明它能够准确地推断成熟和部分成熟草莓的姿态，但在检测未成熟草莓方面面临挑战。该方法可以很容易地适用于其他水果，从而扩大其在农业自动化领域的适用性和影响。
🔬 方法详解
问题定义：论文旨在解决草莓的6D姿态估计问题，以便实现自动化采摘。现有方法依赖于真实数据的标注，成本高昂且难以获取足够的多样性。因此，需要一种能够利用合成数据进行训练，并在真实场景中具有良好泛化能力的姿态估计方法。
核心思路：论文的核心思路是利用程序化生成逼真的合成草莓数据，并使用这些数据训练YOLOX-6D-Pose模型。通过增强合成数据的真实感，弥补合成数据与真实数据之间的差距，从而使模型能够在真实场景中准确地估计草莓的6D姿态。
技术框架：整体框架包括两个主要部分：合成数据生成和姿态估计模型训练。首先，通过程序化的Blender流程，从不同的3D草莓模型生成大量的合成图像，并自动标注6D姿态。然后，使用这些合成数据训练YOLOX-6D-Pose模型。最后，在真实图像上进行测试，评估模型的性能。
关键创新：最重要的技术创新点在于合成数据生成流程的逼真度提升。论文通过精细的材质、光照和纹理模拟，以及随机化的场景设置，显著提高了合成数据的真实感，使其更接近真实图像。这使得模型能够更好地从合成数据泛化到真实数据。
关键设计：论文使用了YOLOX-6D-Pose算法，该算法基于YOLOX目标检测器，并添加了6D姿态估计分支。YOLOX以其速度和精度之间的良好平衡而闻名。合成数据生成流程的关键设计包括：使用多种3D草莓模型，随机化草莓的大小、形状和颜色，模拟不同的光照条件和背景，以及添加噪声和模糊等图像增强技术。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该模型在NVIDIA RTX 3090和Jetson Orin Nano上均取得了良好的性能。在Jetson Orin Nano上，模型能够实现实时的姿态估计，使其非常适合部署在资源受限的农业机器人上。定性评估表明，该模型能够准确地检测和估计成熟和部分成熟草莓的姿态。
🎯 应用场景
该研究成果可应用于农业机器人领域，实现草莓的自动化采摘。通过准确的6D姿态估计，机器人可以精确定位并抓取成熟的草莓，从而提高采摘效率，降低人工成本。此外，该方法还可以推广到其他水果的采摘，具有广阔的应用前景。
📄 摘要（原文）
Automated and selective harvesting of fruits has become an important area of research, particularly due to challenges such as high costs and a shortage of seasonal labor in advanced economies. This paper focuses on 6D pose estimation of strawberries using purely synthetic data generated through a procedural pipeline for photorealistic rendering. We employ the YOLOX-6D-Pose algorithm, a single-shot approach that leverages the YOLOX backbone, known for its balance between speed and accuracy, and its support for edge inference. To address the lacking availability of training data, we introduce a robust and flexible pipeline for generating synthetic strawberry data from various 3D models via a procedural Blender pipeline, where we focus on enhancing the realism of the synthesized data in comparison to previous work to make it a valuable resource for training pose estimation algorithms. Quantitative evaluations indicate that our models achieve comparable accuracy on both the NVIDIA RTX 3090 and Jetson Orin Nano across several ADD-S metrics, with the RTX 3090 demonstrating superior processing speed. However, the Jetson Orin Nano is particularly suited for resource-constrained environments, making it an excellent choice for deployment in agricultural robotics. Qualitative assessments further confirm the model's performance, demonstrating its capability to accurately infer the poses of ripe and partially ripe strawberries, while facing challenges in detecting unripe specimens. This suggests opportunities for future improvements, especially in enhancing detection capabilities for unripe strawberries (if desired) by exploring variations in color. Furthermore, the methodology presented could be adapted easily for other fruits such as apples, peaches, and plums, thereby expanding its applicability and impact in the field of agricultural automation.