LeafFit: Plant Assets Creation from 3D Gaussian Splatting

📄 arXiv: 2602.11577v1 📥 PDF

作者: Chang Luo, Nobuyuki Umetani

分类: cs.GR

发布日期: 2026-02-12

备注: Our source code is publicly available at https://github.com/netbeifeng/leaf_fit

期刊: Eurographics 2026

💡 一句话要点

LeafFit：从3D高斯溅射重建可编辑的植物网格资产

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 植物建模 网格生成 移动最小二乘变形 参数化编辑

📋 核心要点

  1. 3D高斯溅射能捕捉复杂植物细节，但内存占用大且缺乏网格拓扑，不适用于游戏制作。
  2. LeafFit利用叶片形状重复性，从3DGS分割叶片，并使用MLS变形将模板叶片拟合到所有叶片。
  3. 实验表明，LeafFit在分割质量、变形精度和数据压缩方面优于现有方法，并支持参数级编辑。

📝 摘要（中文）

本文提出LeafFit，一个将单个植物的3D高斯溅射（3DGS）转换为可编辑、可实例化的网格资产的流程。虽然3DGS能够忠实地捕捉复杂的树叶，但其高内存占用和缺乏网格拓扑结构使其与传统游戏制作流程不兼容。我们通过利用叶片形状的重复性来解决这个问题；我们的方法从非结构化的3DGS中分割叶片，并可选地包含用户交互作为后备方案。选择一个具有代表性的叶片组并将其转换为薄而锐利的网格作为模板；然后通过可微的移动最小二乘（MLS）变形将该模板拟合到所有其他叶片。在运行时，使用顶点着色器高效地动态评估变形，以最大限度地减少存储需求。实验表明，LeafFit实现了比最近的基线更高的分割质量和变形精度，同时显著减小了数据大小并实现了参数级别的编辑。

🔬 方法详解

问题定义：现有方法，特别是3D高斯溅射（3DGS），虽然能高精度地重建植物，但其数据量巨大，且缺乏网格拓扑结构，这使得它难以直接应用于游戏引擎等需要高效渲染和编辑的场景。因此，如何将3DGS表示的植物转换为轻量级、可编辑的网格资产是一个关键问题。

核心思路：LeafFit的核心思路是利用植物叶片形状的重复性。通过分割出单个叶片，并选择一个具有代表性的叶片作为模板，然后将该模板通过变形的方式拟合到其他叶片上，从而实现对整个植物的网格化表示。这种方法避免了直接对整个3DGS进行网格化，大大降低了数据量。

技术框架：LeafFit流程主要包含以下几个阶段：1) 叶片分割：从3DGS数据中分割出单个叶片。如果自动分割效果不佳，允许用户进行交互式调整。2) 模板选择：选择一个具有代表性的叶片组作为模板。3) MLS变形：使用可微的移动最小二乘（MLS）变形算法，将模板叶片拟合到其他叶片。4) 运行时优化：在运行时，使用顶点着色器高效地计算变形，从而减少存储需求。

关键创新：LeafFit的关键创新在于将可微的移动最小二乘（MLS）变形应用于3DGS重建的植物叶片网格化。通过这种方式，它能够高效地将一个模板叶片变形为其他叶片，从而避免了对每个叶片都进行单独建模，显著降低了数据量，并实现了参数级别的编辑能力。

关键设计：在叶片分割阶段，论文可能使用了基于聚类或深度学习的方法来自动分割叶片。MLS变形算法的选择和参数设置（如邻域大小、权重函数等）对变形效果至关重要。此外，顶点着色器的优化设计也是保证运行时性能的关键。损失函数的设计可能包含形状相似性损失、平滑性损失等，以保证变形后的叶片形状自然且没有过度扭曲。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LeafFit在叶片分割质量和变形精度方面优于现有基线方法。更重要的是，LeafFit能够显著减小数据大小，使得植物模型更易于存储和传输。此外，LeafFit还支持参数级别的编辑，允许用户灵活地调整植物的形状和外观。具体的性能数据和对比基线信息在论文中应该有详细的展示。

🎯 应用场景

LeafFit可广泛应用于游戏开发、虚拟现实、电影制作等领域，用于创建逼真且高效的植物模型。该方法能够显著降低植物模型的存储空间和渲染成本，提高游戏性能。此外，参数化编辑功能使得用户可以方便地调整植物的形状和外观，从而实现更灵活的内容创作。未来，该技术有望扩展到其他具有重复结构的物体建模，如珊瑚、毛发等。

📄 摘要（原文）

We propose LeafFit, a pipeline that converts 3D Gaussian Splatting (3DGS) of individual plants into editable, instanced mesh assets. While 3DGS faithfully captures complex foliage, its high memory footprint and lack of mesh topology make it incompatible with traditional game production workflows. We address this by leveraging the repetition of leaf shapes; our method segments leaves from the unstructured 3DGS, with optional user interaction included as a fallback. A representative leaf group is selected and converted into a thin, sharp mesh to serve as a template; this template is then fitted to all other leaves via differentiable Moving Least Squares (MLS) deformation. At runtime, the deformation is evaluated efficiently on-the-fly using a vertex shader to minimize storage requirements. Experiments demonstrate that LeafFit achieves higher segmentation quality and deformation accuracy than recent baselines while significantly reducing data size and enabling parameter-level editing.