Retrieval-Augmented Sketch-Guided 3D Building Generation

📄 arXiv: 2603.16612v1 📥 PDF

作者: Zhengyang Wang, Nuttapong Rochanavibhata, Yuxiao Ren, Xusheng Du, Ye Zhang, Haoran Xie

分类: cs.GR

发布日期: 2026-03-17

备注: 10 pages, 4 figures, Proceeding of CAADRIA 2026

💡 一句话要点

提出检索增强的草图引导3D建筑生成框架，解决日本住宅设计的个性化定制问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D建筑生成 草图引导 检索增强 组件分割 个性化定制

📋 核心要点

  1. 现有方法难以从销售代表提供的粗略草图生成高保真3D模型，且生成的模型通常为单一网格，缺乏组件级别的可编辑性。
  2. 该框架结合生成式和检索式方法，从草图生成可进行组件级编辑的3D建筑模型，支持个性化定制。
  3. 实验结果表明，该方法能够有效生成可定制的3D建筑模型，并通过定量和专家评估验证了其有效性。

📝 摘要（中文）

本文提出了一种多阶段3D生成设计框架，能够从粗略的设计草图生成建筑模型，旨在解决日本独立住宅早期设计阶段中，客户、销售代表和设计师之间缺乏统一设计表示，导致设计偏差和反馈效率低下的问题。该框架结合了生成方法和检索方法，以实现组件级别的编辑和个性化定制。它采用了多模态表示进行3D模型生成，并应用组件分割来定位建筑组件（如门窗），并使用检索来支持组件的定向替换。实验表明，该工作能够实现模块化定制，适合个性化建筑设计。该工作引入了一个用于日本独立住宅的多阶段草图到3D框架，提供了立面和组件数据集，并通过定量和专家评估展示了有效性。

🔬 方法详解

问题定义：论文旨在解决日本独立住宅设计中，从草图到3D模型生成过程中的几个关键问题。首先，销售代表快速绘制的草图往往细节不足，导致后续生成的3D模型质量不高。其次，传统生成模型通常生成统一的网格模型，缺乏组件级别的可编辑性，难以满足个性化定制的需求。因此，需要一种能够从粗略草图生成高质量、可编辑的3D建筑模型的方法。

核心思路：论文的核心思路是将生成式模型与检索式方法相结合，利用生成模型从草图生成初始的3D建筑模型，然后通过检索方法对模型中的组件进行替换和定制。这种方法既能保证模型的整体结构，又能实现组件级别的个性化调整。同时，采用多模态表示，融合草图和3D模型信息，提升生成模型的性能。

技术框架：该框架包含多个阶段。首先，使用生成模型从草图生成初始的3D建筑模型。然后，对生成的模型进行组件分割，识别出建筑中的各个组件（如门、窗等）。接下来，使用检索模块，根据用户的需求，从预定义的组件库中检索合适的组件进行替换。最后，将替换后的组件重新组合成完整的3D建筑模型。

关键创新：该论文的关键创新在于将生成式模型和检索式方法相结合，实现了组件级别的3D建筑模型编辑和个性化定制。与传统的单一生成模型相比，该方法能够更好地控制模型的细节和风格，并允许用户根据自己的喜好进行修改。此外，多模态表示也提升了生成模型的性能。

关键设计：论文中使用了特定的组件分割算法来识别建筑组件。检索模块可能采用了基于相似度的检索方法，例如计算组件的特征向量，然后使用余弦相似度等指标来衡量组件之间的相似性。损失函数的设计可能包括重建损失和对抗损失，以保证生成模型的生成质量。具体的网络结构和参数设置在论文中应该有详细描述（未知）。

📊 实验亮点

论文通过实验验证了所提出框架的有效性。定量评估指标（具体数值未知）表明，该方法生成的3D建筑模型在质量和细节方面优于其他基线方法。专家评估也表明，该方法能够生成符合用户需求的个性化建筑模型。此外，论文还构建了包含立面和组件的数据集，为相关研究提供了数据支持。

🎯 应用场景

该研究成果可应用于建筑设计领域，特别是住宅设计的早期阶段。销售代表可以使用该框架快速生成3D建筑模型，并根据客户的反馈进行实时修改和定制，从而提高设计效率和客户满意度。此外，该技术还可以应用于虚拟现实和增强现实等领域，为用户提供更加沉浸式的建筑设计体验。

📄 摘要（原文）

In the early design stage of Japanese detached houses, the lack of a unified design representation among clients, sales representatives, and designers leads to design drift and inefficient feedback. Usually, sketches handed off by sales representatives may lose details for quick drawing, which reduces the fidelity of subsequent 3D generation using generative AI models. The generated 3D model typically takes the form of a single unified mesh, preventing component-level editing. To solve these issues, we propose a multi-stage 3D generative design framework capable of producing architectural models from rough design sketches. The framework combines generative and retrieval-based methods to enable component-level editing and personalized customization. It adopts a multimodal representation for 3D model generation and applies component segmentation to localize architectural components such as windows and doors and uses retrieval to support targeted replacement of components. Experiments show that the work enables modular customization which is thought to be suitable for personalized architectural design. This work introduces a multi-stage sketch-to-3D framework for Japanese detached houses, provides facade and component datasets, and shows effectiveness through quantitative and expert evaluations.