Spatio-Temporal Metric-Semantic Mapping for Persistent Orchard Monitoring: Method and Dataset
作者: Jiuzhou Lei, Ankit Prabhu, Xu Liu, Fernando Cladera, Mehrad Mortazavi, Reza Ehsani, Pratik Chaudhari, Vijay Kumar
分类: cs.RO
发布日期: 2024-09-29 (更新: 2025-05-06)
💡 一句话要点
提出时空度量语义地图系统，用于果园长期监测和果实生长追踪。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 时空度量语义地图 果园监测 LiDAR-RGB融合 4D数据关联 果实生长追踪
📋 核心要点
- 现有果园监测方法难以精确跟踪单个果树或果实的生长变化，限制了植物表型分析和资源优化。
- 论文提出一种4D时空度量语义地图系统，融合LiDAR-RGB数据，并利用时空信息进行果实关联。
- 实验结果表明，该方法在果实计数、大小估计和数据关联精度方面均优于现有方法，并公开了多模态数据集。
📝 摘要（中文）
本文提出了一种4D时空度量语义地图系统，该系统集成了多时段测量数据，以跟踪果实在整个生长季节的生长情况。该方法结合了LiDAR-RGB融合模块进行3D果实定位，以及利用位置、视觉和拓扑信息的4D果实关联方法，从而提高数据关联的精度。在真实果园数据上的评估表明，该方法对60棵树上的1790个苹果实现了96.9%的果实计数准确率，平均果实大小估计误差为1.1厘米，并且4D数据关联精度比基线提高了23.7%。我们公开发布了一个多模态数据集，涵盖了五种水果在整个生长季节的数据。
🔬 方法详解
问题定义：现有果园监测方法难以实现对果树和果实进行精细化、持续性的跟踪和分析。传统方法在多时序数据关联方面存在精度不足的问题，难以准确追踪果实生长过程，从而限制了植物表型分析和园艺资源优化，例如化学品使用和产量估计。
核心思路：论文的核心思路是构建一个4D时空度量语义地图，通过融合LiDAR和RGB数据，实现对果实的三维定位和语义理解，并利用时空信息进行果实关联，从而实现对果实生长过程的精确跟踪。这种方法充分利用了果实在时间和空间上的连续性，提高了数据关联的鲁棒性和精度。
技术框架：该系统的整体框架包括以下几个主要模块：1) LiDAR-RGB数据融合模块，用于生成果园的三维点云地图和RGB图像；2) 3D果实定位模块，用于在点云地图中检测和定位果实；3) 4D果实关联模块，利用位置、视觉和拓扑信息，将不同时间点的果实进行关联；4) 时空度量语义地图构建模块，将果实的位置、大小和语义信息整合到4D地图中。
关键创新：该论文的关键创新在于提出了一个完整的4D时空度量语义地图系统，能够有效地整合多时段的果园数据，并实现对果实生长过程的精确跟踪。此外，该论文还提出了一种新的4D果实关联方法，该方法综合利用了位置、视觉和拓扑信息，从而提高了数据关联的精度。与现有方法相比，该方法能够更好地处理果实遮挡、光照变化等问题。
关键设计：在LiDAR-RGB数据融合方面，采用了基于校准参数的点云着色方法，将RGB图像的颜色信息赋予点云。在4D果实关联方面，设计了一个基于卡尔曼滤波器的关联算法，利用果实的位置、大小和颜色等信息进行状态预测和更新。此外，还设计了一个基于拓扑结构的关联约束，利用果实之间的相对位置关系来提高关联的鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在真实果园数据上取得了显著的性能提升。对于1790个苹果，果实计数准确率达到96.9%，平均果实大小估计误差为1.1厘米。与基线方法相比，4D数据关联精度提高了23.7%。这些结果表明，该方法能够有效地跟踪果实生长过程，并为果园管理提供有价值的信息。
🎯 应用场景
该研究成果可应用于精准农业领域，实现对果园的智能化管理和优化。通过长期监测果实生长情况，可以为植物表型分析、产量预测、病虫害预警和资源优化提供数据支持。此外，该技术还可以扩展到其他农作物和植物的监测，具有广阔的应用前景。
📄 摘要（原文）
Monitoring orchards at the individual tree or fruit level throughout the growth season is crucial for plant phenotyping and horticultural resource optimization, such as chemical use and yield estimation. We present a 4D spatio-temporal metric-semantic mapping system that integrates multi-session measurements to track fruit growth over time. Our approach combines a LiDAR-RGB fusion module for 3D fruit localization with a 4D fruit association method leveraging positional, visual, and topology information for improved data association precision. Evaluated on real orchard data, our method achieves a 96.9% fruit counting accuracy for 1,790 apples across 60 trees, a mean fruit size estimation error of 1.1 cm, and a 23.7% improvement in 4D data association precision over baselines. We publicly release a multimodal dataset covering five fruit species across their growth seasons at https://4d-metric-semantic-mapping.org/