A Vision-Language Model (VLM)-based Pipeline for End-to-End Procedural Modeling of Field-Grown Maize from Point Clouds

📄 arXiv: 2610.03468v1 📥 PDF

作者: Mozhgan Hadadi, Talukder Z. Jubery, Adarsh Krishnamurthy, Baskar Ganapathysubramanian

分类: cs.CV

发布日期: 2026-10-02

💡 一句话要点

提出基于视觉-语言模型的管道以自动化生成玉米3D模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 程序化建模 3D重建 农业表型学 点云处理

📋 核心要点

  1. 现有方法在从点云生成可编辑的3D作物模型时，通常需要耗费大量时间进行手动调优或依赖特定物种的分割模型。
  2. 本文提出了一种自动化管道，利用多模态视觉-语言模型自动注释叶片中线，从而简化了模型生成过程。
  3. 实验结果表明，该管道在100个基因型多样的玉米植物上实现了5.4毫米的Chamfer距离，恢复率高达99.4%。

📝 摘要（中文）

可编辑的田间作物3D模型支持高通量表型分析和计算育种试验，但从扫描点云构建这些模型需要进行器官级分割和拟合。现有方法需要耗费大量时间进行手动调优或依赖于特定物种的分割模型。本文提出了一种自动化管道，从原始3D点云重建程序化玉米模型，无需手动调优或特定物种的训练数据。通过多模态视觉-语言模型（VLM）在渲染的正交视图中注释叶片中线，利用确定性几何算法将注释反投影到点云上，并通过交叉视图共识合并为3D叶片。最终，该管道在MaizeField3D数据集上实现了5.4毫米的中位全植物Chamfer距离，显著优于早期基于手动注释的半自动化管道。

🔬 方法详解

问题定义：本文旨在解决从扫描点云构建可编辑的3D玉米模型时，现有方法需要大量手动调优和物种特定训练数据的问题。

核心思路：通过引入多模态视觉-语言模型（VLM），自动注释叶片中线，并结合几何算法进行后续处理，从而实现无需手动干预的模型生成。

技术框架：整体流程包括：首先，使用VLM对渲染的正交视图进行注释；其次，利用几何算法将注释反投影到点云上，并通过交叉视图共识合并为3D叶片；最后，使用NURBS进行模型生成和优化。

关键创新：该研究的主要创新在于实现了从点云到程序化模型的全自动化流程，克服了传统方法的手动调优和物种特定限制。

关键设计：在模型生成中，采用了非均匀有理B样条（NURBS）进行程序化建模，并通过可微分的NURBS拟合对每个叶片表面进行精细调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，该管道在100个基因型多样的玉米植物上实现了5.4毫米的中位Chamfer距离，恢复了99.4%的参考叶片，显著优于早期的半自动化方法，展示了其在实际应用中的有效性。

🎯 应用场景

该研究的自动化管道可广泛应用于农业科学，特别是在高通量表型分析和育种试验中，能够快速生成可编辑的3D植物模型，提升研究效率。未来，该技术有望推动植物表型学和精准农业的发展。

📄 摘要（原文）

Editable 3D models of field-grown crops support high-throughput phenotyping and in silico breeding trials, but building them from scanned point clouds requires organ-level segmentation and fitting. Procedural generators can turn an organ-level parameter set into an analysis-suitable 3D model, but obtaining that set requires hours of manual tuning per plant or segmentation models trained on species-specific labels. We present an automated pipeline that reconstructs procedural maize models from raw 3D point clouds without manual tuning or species-specific training data. A multimodal vision-language model (VLM) annotates leaf midlines in rendered orthographic views. Deterministic geometric algorithms back-project the annotations onto the point cloud, merge them into 3D leaves by cross-view consensus, and grow the midlines to full blades on an orientation-weighted surface graph. Measured organ parameters populate a plant descriptor for a Non-Uniform Rational B-Spline (NURBS)-based procedural model generator. Each leaf surface is then refined against its scan points by differentiable NURBS fitting. The pipeline reached a median whole-plant Chamfer distance of 5.4 mm on 100 genotypically diverse field-grown maize plants from the MaizeField3D dataset. The reconstructions were closer to the scans than those of an earlier semi-automated pipeline based on manual annotations. The pipeline recovered 1,017 of 1,023 (99.4%) curated reference leaves at an intersection-over-union of at least 0.5 without using those labels as input. These results show that VLM annotations become usable organ-level measurements when downstream geometric stages can correct them. This makes automated generation of editable 3D plant assets feasible at the scale of modern phenotyping experiments.