BuildingBlock: A Hybrid Approach for Structured Building Generation
作者: Junming Huang, Chi Wang, Letian Li, Changxin Huang, Qiang Dai, Weiwei Xu
分类: cs.GR
发布日期: 2025-05-07
备注: SIGGRAPH 2025 (Conference Track)
💡 一句话要点
BuildingBlock：一种用于结构化建筑生成的混合方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 三维建筑生成 生成模型 程序化内容生成 大型语言模型 扩散模型 点云生成 层级结构
📋 核心要点
- 现有三维建筑生成方法难以生成多样、结构化和层级连贯的建筑，限制了其在游戏、VR和数字孪生等领域的应用。
- BuildingBlock融合生成模型、PCG和LLM，通过两阶段流程：布局生成和建筑构造，实现高质量结构化建筑生成。
- 实验结果表明，BuildingBlock在生成多样化和层级结构化建筑方面表现出色，并在多个基准测试中达到SOTA。
📝 摘要（中文）
三维建筑生成对于游戏、虚拟现实和数字孪生等应用至关重要，但现有方法在生成多样化、结构化和层级连贯的建筑方面面临挑战。我们提出了BuildingBlock，一种混合方法，它整合了生成模型、程序化内容生成（PCG）和大型语言模型（LLM），以解决这些限制。具体来说，我们的方法引入了一个两阶段的流程：布局生成阶段（LGP）和建筑构造阶段（BCP）。LGP将基于盒子的布局生成重新定义为点云生成任务，利用新构建的建筑数据集和基于Transformer的扩散模型来创建全局一致的布局。借助LLM，这些布局被扩展为基于规则的层级设计，无缝地结合了组件样式和空间结构。BCP利用这些布局来指导PCG，从而实现局部可定制、高质量的结构化建筑生成。实验结果表明，BuildingBlock在生成多样化和层级结构化建筑方面非常有效，在多个基准测试上取得了最先进的结果，并为可扩展和直观的建筑工作流程铺平了道路。
🔬 方法详解
问题定义：现有三维建筑生成方法难以同时保证生成建筑的多样性、结构性和层级连贯性。具体来说，缺乏对建筑布局的全局一致性建模，以及难以将高层语义信息融入到建筑生成过程中。现有方法在局部定制化和生成高质量细节方面也存在不足。
核心思路：BuildingBlock的核心思路是将建筑生成过程分解为两个阶段：布局生成和建筑构造。布局生成阶段利用Transformer-based扩散模型生成全局一致的建筑布局，并使用LLM将布局扩展为具有层级结构的规则设计。建筑构造阶段则利用这些布局指导PCG，从而实现局部可定制、高质量的建筑生成。这种混合方法结合了生成模型的全局建模能力、LLM的语义理解能力和PCG的细节生成能力。
技术框架：BuildingBlock包含两个主要阶段：布局生成阶段（LGP）和建筑构造阶段（BCP）。LGP首先将建筑布局表示为点云，然后使用Transformer-based扩散模型生成点云布局。接着，利用LLM将点云布局转换为具有层级结构的规则设计。BCP则根据LGP生成的布局和规则，使用PCG生成最终的建筑模型。整个流程实现了从全局布局到局部细节的逐步生成。
关键创新：BuildingBlock的关键创新在于：1) 将建筑布局生成重新定义为点云生成任务，并利用Transformer-based扩散模型进行建模，从而实现全局一致的布局生成。2) 引入LLM将布局扩展为具有层级结构的规则设计，从而将高层语义信息融入到建筑生成过程中。3) 结合生成模型、LLM和PCG，实现了一种混合的建筑生成方法，充分利用了各种技术的优势。
关键设计：在LGP中，Transformer-based扩散模型采用标准的扩散模型架构，并针对点云数据进行了优化。LLM采用预训练的语言模型，并使用少量样本进行微调，以生成符合建筑设计规则的层级结构。在BCP中，PCG规则根据LGP生成的布局和规则进行定制，以生成高质量的建筑细节。
🖼️ 关键图片
📊 实验亮点
BuildingBlock在多个基准测试中取得了最先进的结果，证明了其在生成多样化和层级结构化建筑方面的有效性。具体性能数据未知，但摘要强调了其超越现有方法的优越性，并为可扩展和直观的建筑工作流程铺平了道路。该方法能够生成具有全局一致性和局部可定制性的高质量建筑模型。
🎯 应用场景
BuildingBlock在游戏开发、虚拟现实、数字孪生等领域具有广泛的应用前景。它可以用于快速生成各种风格和结构的建筑，从而加速游戏场景的创建、虚拟环境的构建和城市模型的生成。此外，BuildingBlock还可以用于建筑设计和规划，帮助设计师快速生成各种设计方案，并进行可视化展示和评估。该研究有望推动建筑生成技术的进步，并为相关领域带来新的发展机遇。
📄 摘要（原文）
Three-dimensional building generation is vital for applications in gaming, virtual reality, and digital twins, yet current methods face challenges in producing diverse, structured, and hierarchically coherent buildings. We propose BuildingBlock, a hybrid approach that integrates generative models, procedural content generation (PCG), and large language models (LLMs) to address these limitations. Specifically, our method introduces a two-phase pipeline: the Layout Generation Phase (LGP) and the Building Construction Phase (BCP). LGP reframes box-based layout generation as a point-cloud generation task, utilizing a newly constructed architectural dataset and a Transformer-based diffusion model to create globally consistent layouts. With LLMs, these layouts are extended into rule-based hierarchical designs, seamlessly incorporating component styles and spatial structures. The BCP leverages these layouts to guide PCG, enabling local-customizable, high-quality structured building generation. Experimental results demonstrate BuildingBlock's effectiveness in generating diverse and hierarchically structured buildings, achieving state-of-the-art results on multiple benchmarks, and paving the way for scalable and intuitive architectural workflows.