GeoTexBuild: 3D Building Model Generation from Map Footprints

📄 arXiv: 2504.08419v2 📥 PDF

作者: Ruizhe Wang, Junyan Yang, Qiao Wang

分类: cs.CV

发布日期: 2025-04-11 (更新: 2025-08-28)

备注: 13 pages, 14 figures

💡 一句话要点

GeoTexBuild：提出一种从地图轮廓生成3D建筑模型的新框架

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D建筑建模 生成模型 地图轮廓 神经风格场 扩散模型 ControlNet 计算机视觉

📋 核心要点

  1. 现有3D建筑生成方法在处理单张立面图像时，容易出现结构不一致的问题，难以保证建筑模型的整体质量。
  2. GeoTexBuild通过三阶段流程，即高度图生成、几何重建和外观风格化，从地图轮廓生成具有细节和精确度的3D建筑模型。
  3. 该方法集成了定制的ControlNet、神经风格场（NSF）和多视图扩散模型，有效控制了生成过程中建筑模型的几何和视觉属性。

📝 摘要（中文）

本文介绍GeoTexBuild，一个模块化的生成框架，用于从场地规划或地图设计中提取的轮廓创建3D建筑模型。该系统专为建筑师和城市规划师设计，提供了一种将地图特征直接转换为3D建筑的无缝解决方案。所提出的框架采用三阶段流程，包括高度图生成、几何重建和外观风格化，最终生成具有详细几何和外观属性的建筑模型。通过集成定制的ControlNet、神经风格场（NSF）和多视图扩散模型，我们探索了在生成过程中有效控制几何和视觉属性的方法。我们的方法消除了现有建筑3D生成技术中单个立面图像的结构变化问题。每个阶段的实验结果都验证了GeoTexBuild从轮廓生成详细而准确的建筑模型的能力。

🔬 方法详解

问题定义：现有3D建筑生成技术，特别是基于单张图像的方法，容易在生成的建筑立面中出现结构不一致的问题。这导致最终的3D模型质量不高，难以满足建筑师和城市规划师的需求。因此，需要一种能够从更可靠的输入（如地图轮廓）生成高质量、结构一致的3D建筑模型的方法。

核心思路：GeoTexBuild的核心思路是将3D建筑模型的生成过程分解为三个可控的阶段：高度图生成、几何重建和外观风格化。通过这种模块化的设计，可以分别控制建筑的几何形状和外观，从而生成更精确、更具艺术性的3D模型。利用地图轮廓作为输入，可以保证建筑结构的整体一致性。

技术框架：GeoTexBuild框架包含三个主要阶段： 1. 高度图生成：从输入的地图轮廓生成高度图，表示建筑的高度信息。 2. 几何重建：利用高度图重建建筑的3D几何结构。 3. 外观风格化：使用神经风格场（NSF）和多视图扩散模型，为建筑添加逼真的外观纹理和风格。 整个流程将地图轮廓作为输入，最终输出具有详细几何和外观属性的3D建筑模型。

关键创新：GeoTexBuild的关键创新在于其模块化的生成框架，以及对ControlNet、神经风格场（NSF）和多视图扩散模型的巧妙集成。通过定制ControlNet，可以更好地控制几何形状的生成。神经风格场（NSF）用于生成高质量的建筑外观纹理。多视图扩散模型则用于保证生成外观的多视角一致性。与现有方法相比，GeoTexBuild能够生成结构更一致、外观更逼真的3D建筑模型。

关键设计： * 定制ControlNet：用于控制高度图生成过程，确保生成的建筑几何形状符合输入轮廓的约束。 * 神经风格场（NSF）：用于生成高质量的建筑外观纹理，并允许用户自定义建筑的风格。 * 多视图扩散模型：用于生成多视角一致的建筑外观，避免出现视角不一致的问题。 * 损失函数的设计未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了GeoTexBuild在各个阶段的有效性。实验结果表明，该方法能够从地图轮廓生成详细而准确的3D建筑模型，并且能够有效控制建筑的几何和视觉属性。具体的性能数据和对比基线未知，但摘要强调了该方法解决了现有技术中单张立面图像结构变化的问题。

🎯 应用场景

GeoTexBuild可广泛应用于城市规划、建筑设计、游戏开发和虚拟现实等领域。它可以帮助建筑师和城市规划师快速生成3D建筑模型，用于方案设计和可视化。在游戏开发和虚拟现实中，可以用于快速创建逼真的城市环境。该研究的潜在价值在于提高3D建筑建模的效率和质量，降低建模成本，并为相关领域带来创新。

📄 摘要（原文）

We introduce GeoTexBuild, a modular generative framework for creating 3D building models from footprints derived from site planning or map designs. The system is designed for architects and city planners, offering a seamless solution that directly converts map features into 3D buildings. The proposed framework employs a three-stage process comprising height map generation, geometry reconstruction, and appearance stylization, culminating in building models with detailed geometry and appearance attributes. By integrating customized ControlNet, Neural style field (NSF), and Multi-view diffusion model, we explore effective methods for controlling both geometric and visual attributes during the generation process. Our approach eliminates the problem of structural variations in a single facade image in existing 3D generation techniques for buildings. Experimental results at each stage validate the capability of GeoTexBuild to generate detailed and accurate building models from footprints.