PlantDreamer: Achieving Realistic 3D Plant Models with Diffusion-Guided Gaussian Splatting
作者: Zane K J Hartley, Lewis A G Stuart, Andrew P French, Michael P Pound
分类: cs.CV, cs.GR
发布日期: 2025-05-21
备注: 13 pages, 5 figures, 4 tables
💡 一句话要点
PlantDreamer：扩散模型引导的高斯溅射实现逼真3D植物建模
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D植物建模 扩散模型 高斯溅射 深度ControlNet 植物表型分析
📋 核心要点
- 现有3D生成模型在植物等复杂对象的建模上存在不足，难以满足植物分析工具对细节和几何精度的要求。
- PlantDreamer利用深度ControlNet、低秩适应和自适应高斯剔除，提升生成植物模型的纹理真实感和几何完整性。
- 实验表明，PlantDreamer在生成高保真植物模型方面优于现有文本到3D模型，并能有效增强真实植物点云数据。
📝 摘要（中文）
近年来，利用人工智能生成合成3D对象的能力得到了显著提升。然而，生成复杂的3D对象，例如植物，仍然是一个巨大的挑战。与通用对象相比，当前的生成式3D模型在植物生成方面表现不佳，限制了它们在植物分析工具中的可用性，这些工具需要精细的细节和精确的几何形状。我们引入了PlantDreamer，这是一种新颖的3D合成植物生成方法，与现有的文本到3D模型相比，它可以为复杂的植物几何形状和纹理实现更高水平的真实感。为了实现这一目标，我们新的生成流程利用了深度ControlNet、微调的低秩适应和自适应高斯剔除算法，这些算法直接提高了生成的3D植物模型的纹理真实感和几何完整性。此外，PlantDreamer还支持纯粹的合成植物生成（通过利用L-System生成的网格）以及通过将真实植物点云转换为3D高斯溅射来增强真实世界的植物点云。我们通过将其输出与最先进的文本到3D模型进行比较来评估我们的方法，结果表明PlantDreamer在生成高保真合成植物方面优于现有方法。我们的结果表明，我们的方法不仅推进了合成植物的生成，而且还有助于升级遗留的点云数据集，使其成为3D表型分析应用中的宝贵工具。
🔬 方法详解
问题定义：现有文本到3D模型在生成复杂植物模型时，难以兼顾细节和几何精度，导致生成的植物模型真实感不足，无法直接应用于需要高精度植物模型的植物表型分析等领域。现有方法难以有效利用植物结构先验知识，导致生成结果不尽如人意。
核心思路：PlantDreamer的核心思路是结合扩散模型强大的生成能力和高斯溅射（Gaussian Splatting）的精确渲染能力，并引入深度信息作为引导，从而生成具有高真实感和精确几何结构的3D植物模型。通过深度ControlNet控制生成过程，并利用低秩适应加速训练，同时设计自适应高斯剔除算法优化模型。
技术框架：PlantDreamer的整体流程包括以下几个阶段：1) 使用L-System生成植物网格结构，作为几何先验；2) 利用深度ControlNet引导扩散模型生成深度图；3) 将深度图转换为3D高斯溅射表示；4) 使用自适应高斯剔除算法优化高斯溅射模型，提升渲染质量。对于真实植物点云的增强，则直接将其转换为3D高斯溅射，然后进行优化。
关键创新：PlantDreamer的关键创新在于：1) 将深度ControlNet引入到3D植物生成中，利用深度信息作为几何约束，提升生成模型的几何精度；2) 提出了一种自适应高斯剔除算法，能够根据局部几何特征动态调整高斯球的数量，从而优化渲染效果；3) 结合L-System生成的网格结构作为先验知识，引导生成过程，提升生成模型的结构合理性。
关键设计：深度ControlNet使用预训练的扩散模型，并使用植物相关的图像数据进行微调。低秩适应用于加速ControlNet的训练过程，减少计算资源消耗。自适应高斯剔除算法根据高斯球的密度和梯度信息，动态调整高斯球的数量，避免过度拟合和欠拟合。L-System参数根据植物种类进行调整，以生成符合植物生长规律的网格结构。
🖼️ 关键图片
📊 实验亮点
PlantDreamer在合成植物生成任务上显著优于现有文本到3D模型。通过与现有方法进行对比实验，PlantDreamer在生成植物模型的真实感和几何精度方面均取得了显著提升。实验结果表明，PlantDreamer能够生成具有更精细的细节和更准确的几何结构的3D植物模型，为植物表型分析等应用提供了更可靠的数据基础。
🎯 应用场景
PlantDreamer在植物表型分析、虚拟现实、游戏开发等领域具有广泛的应用前景。它可以用于生成逼真的虚拟植物，用于构建虚拟场景和游戏世界。此外，PlantDreamer还可以用于增强现有的植物点云数据，提升植物表型分析的精度和效率，例如植物生长监测、病虫害识别等。
📄 摘要（原文）
Recent years have seen substantial improvements in the ability to generate synthetic 3D objects using AI. However, generating complex 3D objects, such as plants, remains a considerable challenge. Current generative 3D models struggle with plant generation compared to general objects, limiting their usability in plant analysis tools, which require fine detail and accurate geometry. We introduce PlantDreamer, a novel approach to 3D synthetic plant generation, which can achieve greater levels of realism for complex plant geometry and textures than available text-to-3D models. To achieve this, our new generation pipeline leverages a depth ControlNet, fine-tuned Low-Rank Adaptation and an adaptable Gaussian culling algorithm, which directly improve textural realism and geometric integrity of generated 3D plant models. Additionally, PlantDreamer enables both purely synthetic plant generation, by leveraging L-System-generated meshes, and the enhancement of real-world plant point clouds by converting them into 3D Gaussian Splats. We evaluate our approach by comparing its outputs with state-of-the-art text-to-3D models, demonstrating that PlantDreamer outperforms existing methods in producing high-fidelity synthetic plants. Our results indicate that our approach not only advances synthetic plant generation, but also facilitates the upgrading of legacy point cloud datasets, making it a valuable tool for 3D phenotyping applications.