GrowSplat: Constructing Temporal Digital Twins of Plants with Gaussian Splats
作者: Simeon Adebola, Shuangyu Xie, Chung Min Kim, Justin Kerr, Bart M. van Marrewijk, Mieke van Vlaardingen, Tim van Daalen, E. N. van Loo, Jose Luis Susa Rincon, Eugen Solowjow, Rick van de Zedde, Ken Goldberg
分类: cs.RO, cs.CV
发布日期: 2025-05-16 (更新: 2025-05-28)
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
GrowSplat：利用高斯溅射构建植物生长过程的四维数字孪生模型
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 植物表型分析 数字孪生 3D高斯溅射 点云配准 时序重建
📋 核心要点
- 植物表型分析需要精确重建植物生长过程，但植物的复杂结构和非刚性形变带来了挑战。
- GrowSplat结合3D高斯溅射和两阶段配准，构建植物生长过程的四维数字孪生模型。
- 实验在红杉和藜麦数据集上验证了该方法，实现了对植物生长过程的详细时序重建。
📝 摘要（中文）
植物表型分析和育种需要精确的植物生长时序重建，但由于植物复杂的几何结构、遮挡和非刚性形变，这项任务仍然具有挑战性。本文提出了一种新颖的框架，通过结合3D高斯溅射和鲁棒的样本对齐流程来构建植物的时序数字孪生模型。该方法首先从多视角相机数据重建高斯溅射，然后利用一个两阶段的配准方法：通过基于特征的匹配和快速全局配准进行粗略对齐，然后通过迭代最近点算法进行精细对齐。该流程在离散的时间步长中产生了一致的植物发育四维模型。我们在荷兰植物生态表型中心的数据上评估了该方法，展示了红杉和藜麦物种的详细时序重建结果。
🔬 方法详解
问题定义：论文旨在解决植物生长过程的精确时序重建问题。现有方法难以处理植物复杂的几何结构、遮挡以及非刚性形变，导致重建精度不足，难以满足植物表型分析和育种的需求。
核心思路：论文的核心思路是利用3D高斯溅射（3D Gaussian Splatting）来表示植物的几何结构，并结合鲁棒的配准流程来对齐不同时间步长的点云数据。高斯溅射能够有效地表示复杂的几何结构，并且具有可微性，方便优化。配准流程则保证了时序上的一致性。
技术框架：整体框架包含以下几个主要阶段：1) 数据采集：使用多视角相机采集植物在不同时间步长的图像数据。2) 高斯溅射重建：从每个时间步长的图像数据中重建3D高斯溅射模型。3) 粗略配准：使用基于特征的匹配和快速全局配准（Fast Global Registration）将不同时间步长的高斯溅射模型进行粗略对齐。4) 精细配准：使用迭代最近点算法（Iterative Closest Point, ICP）对粗略对齐后的高斯溅射模型进行精细对齐。5) 时序数字孪生构建：将配准后的高斯溅射模型按照时间顺序排列，构建植物生长过程的四维数字孪生模型。
关键创新：该方法的关键创新在于将3D高斯溅射与鲁棒的配准流程相结合，实现了对植物生长过程的高精度时序重建。与传统的点云配准方法相比，高斯溅射能够更好地表示植物的复杂几何结构，并且具有可微性，方便优化。两阶段配准策略提高了配准的鲁棒性和精度。
关键设计：在粗略配准阶段，论文使用了基于特征的匹配方法来提取点云的特征，例如SIFT或SURF特征。然后，使用快速全局配准算法来估计变换矩阵。在精细配准阶段，论文使用了迭代最近点算法，通过最小化点云之间的距离来优化变换矩阵。具体的参数设置（例如特征提取的参数、ICP算法的迭代次数等）需要根据具体的数据集进行调整。
🖼️ 关键图片
📊 实验亮点
论文在红杉和藜麦数据集上进行了实验，验证了该方法的有效性。实验结果表明，该方法能够重建植物生长过程的详细时序信息，并能够准确地捕捉植物的非刚性形变。通过与现有方法的对比，证明了该方法在重建精度和鲁棒性方面具有优势。具体性能数据和提升幅度在论文中进行了详细的展示。
🎯 应用场景
该研究成果可应用于植物表型分析、精准农业、植物育种等领域。通过构建植物生长过程的四维数字孪生模型，可以更准确地分析植物的生长状态、预测产量、评估抗逆性，从而指导农业生产，提高育种效率。此外，该技术还可以应用于植物生理学研究，帮助科学家深入了解植物的生长发育机制。
📄 摘要（原文）
Accurate temporal reconstructions of plant growth are essential for plant phenotyping and breeding, yet remain challenging due to complex geometries, occlusions, and non-rigid deformations of plants. We present a novel framework for building temporal digital twins of plants by combining 3D Gaussian Splatting with a robust sample alignment pipeline. Our method begins by reconstructing Gaussian Splats from multi-view camera data, then leverages a two-stage registration approach: coarse alignment through feature-based matching and Fast Global Registration, followed by fine alignment with Iterative Closest Point. This pipeline yields a consistent 4D model of plant development in discrete time steps. We evaluate the approach on data from the Netherlands Plant Eco-phenotyping Center, demonstrating detailed temporal reconstructions of Sequoia and Quinoa species. Videos and Images can be seen at https://berkeleyautomation.github.io/GrowSplat/