RoBus: A Multimodal Dataset for Controllable Road Networks and Building Layouts Generation

📄 arXiv: 2407.07835v1 📥 PDF

作者: Tao Li, Ruihang Li, Huangnan Zheng, Shanding Ye, Shijian Li, Zhijie Pan

分类: cs.CV, cs.AI

发布日期: 2024-07-10

🔗 代码/项目: GITHUB

💡 一句话要点

RoBus：用于可控道路网络和建筑布局生成的多模态数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 城市生成 道路网络 建筑布局 多模态数据集 可控生成

📋 核心要点

  1. 现有城市生成方法缺乏高质量数据集和基准，难以有效训练和评估数据驱动的道路网络和建筑布局生成模型。
  2. RoBus数据集通过提供大规模、多模态的城市数据，并结合城市特征，实现对道路网络和建筑布局生成过程的可控性。
  3. 论文通过统计分析和实验验证了RoBus数据集的有效性，并设计了新的基线模型，提升了自动城市设计的实用性。

📝 摘要（中文）

本文介绍了一个用于可控道路网络和建筑布局生成的多模态数据集RoBus。城市自动3D生成，特别是道路网络和建筑布局，在城市设计、多媒体游戏和自动驾驶模拟等领域有巨大需求。生成式AI的兴起促进了基于深度学习模型的城市布局设计。然而，高质量数据集和基准的缺乏阻碍了这些数据驱动方法在道路网络和建筑布局生成方面的进展。此外，很少有研究考虑城市特征（通常以图形作为分析对象），而这些特征对于实际应用至关重要，可以控制生成过程。为了解决这些问题，我们引入了RoBus数据集，它是一个用于道路网络和建筑布局可控生成的伴随评估指标的多模态数据集，也是迄今为止城市生成领域中第一个也是最大的开源数据集。RoBus数据集的格式为图像、图形和文本，包含72,400个配对样本，覆盖全球约80,000平方公里。我们对RoBus数据集进行了统计分析，并验证了其相对于现有道路网络和建筑布局生成方法的有效性。此外，我们设计了新的基线，将道路方向和建筑密度等城市特征纳入到使用RoBus数据集生成道路网络和建筑布局的过程中，从而提高了自动城市设计的实用性。RoBus数据集和相关代码已发布在https://github.com/tourlics/RoBus_Dataset。

🔬 方法详解

问题定义：现有城市生成方法面临缺乏高质量、大规模数据集的挑战，难以训练出能够生成真实、可控的道路网络和建筑布局的模型。此外，现有方法很少考虑城市特征，导致生成结果缺乏实用性。

核心思路：论文的核心思路是构建一个大规模、多模态的城市数据集RoBus，该数据集包含图像、图形和文本信息，并涵盖了道路方向、建筑密度等城市特征。通过利用这些信息，可以训练出能够生成更真实、更可控的城市布局模型。

技术框架：RoBus数据集的构建流程包括数据收集、数据清洗、数据标注和数据格式转换等步骤。数据集包含72,400个配对样本，覆盖全球约80,000平方公里。论文还设计了新的基线模型，用于验证数据集的有效性，这些模型将城市特征纳入到道路网络和建筑布局的生成过程中。

关键创新：RoBus数据集是城市生成领域中第一个也是最大的开源数据集，它提供了大规模、多模态的城市数据，并涵盖了道路方向、建筑密度等城市特征。此外，论文还设计了新的基线模型，将城市特征纳入到道路网络和建筑布局的生成过程中，从而提高了自动城市设计的实用性。

关键设计：论文中没有详细描述关键参数设置、损失函数、网络结构等技术细节。但是，论文强调了将道路方向和建筑密度等城市特征纳入到生成模型中的重要性，这可能涉及到特定的网络结构设计或损失函数设计，以鼓励模型学习和利用这些特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了RoBus数据集的有效性，并表明基于RoBus数据集训练的模型能够生成更真实、更可控的道路网络和建筑布局。具体性能数据和对比基线在摘要中没有明确给出，但强调了新基线模型在结合城市特征方面的优势。

🎯 应用场景

RoBus数据集及其相关研究成果可广泛应用于城市规划、游戏开发、自动驾驶模拟等领域。它可以帮助城市规划师快速生成各种城市布局方案，为游戏开发者提供逼真的城市环境，并为自动驾驶汽车提供更真实的模拟环境，从而加速自动驾驶技术的研发。

📄 摘要（原文）

Automated 3D city generation, focusing on road networks and building layouts, is in high demand for applications in urban design, multimedia games and autonomous driving simulations. The surge of generative AI facilitates designing city layouts based on deep learning models. However, the lack of high-quality datasets and benchmarks hinders the progress of these data-driven methods in generating road networks and building layouts. Furthermore, few studies consider urban characteristics, which generally take graphics as analysis objects and are crucial for practical applications, to control the generative process. To alleviate these problems, we introduce a multimodal dataset with accompanying evaluation metrics for controllable generation of Road networks and Building layouts (RoBus), which is the first and largest open-source dataset in city generation so far. RoBus dataset is formatted as images, graphics and texts, with $72,400$ paired samples that cover around $80,000km^2$ globally. We analyze the RoBus dataset statistically and validate the effectiveness against existing road networks and building layouts generation methods. Additionally, we design new baselines that incorporate urban characteristics, such as road orientation and building density, in the process of generating road networks and building layouts using the RoBus dataset, enhancing the practicality of automated urban design. The RoBus dataset and related codes are published at https://github.com/tourlics/RoBus_Dataset.