IL3D: A Large-Scale Indoor Layout Dataset for LLM-Driven 3D Scene Generation

📄 arXiv: 2510.12095v1 📥 PDF

作者: Wenxu Zhou, Kaixuan Nie, Hang Du, Dong Yin, Wei Huang, Siqiang Guo, Xiaobo Zhang, Pengbo Hu

分类: cs.CV

发布日期: 2025-10-14

备注: 9 pages main paper; 15 pages references and appendix

💡 一句话要点

IL3D：用于LLM驱动的3D场景生成的大规模室内布局数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D场景生成 室内布局 大型语言模型 多模态学习 数据集 具身智能 自然语言标注

📋 核心要点

  1. 现有3D场景生成方法缺乏大规模、高质量、多样化的室内布局数据集，限制了LLM在相关任务中的应用。
  2. IL3D数据集通过提供大量室内布局、3D对象资产和自然语言标注，为LLM驱动的3D场景生成提供支持。
  3. 实验表明，在IL3D上进行监督微调的LLM在场景生成任务中表现出更好的泛化能力和性能。

📝 摘要（中文）

本研究提出了IL3D，一个大规模数据集，专为大语言模型（LLM）驱动的3D场景生成而设计，旨在解决室内布局设计中对多样化、高质量训练数据的迫切需求。IL3D包含27,816个室内布局，涵盖18种常见的房间类型，以及一个包含29,215个高保真3D对象资产的库。数据集还富含实例级别的自然语言标注，以支持视觉-语言任务的鲁棒多模态学习。我们建立了严格的基准来评估LLM驱动的场景生成。实验结果表明，在IL3D上对LLM进行监督微调（SFT）显著提高了泛化能力，并超越了在其他数据集上进行SFT的性能。IL3D提供灵活的多模态数据导出功能，包括点云、3D边界框、多视角图像、深度图、法线贴图和语义掩码，从而能够无缝适应各种视觉任务。作为一个通用且强大的资源，IL3D通过提供高保真场景数据来支持具身智能体的环境感知任务，从而显著推进了3D场景生成和具身智能领域的研究。

🔬 方法详解

问题定义：现有3D场景生成方法面临数据匮乏的挑战，特别是缺乏大规模、多样化、带有自然语言描述的室内场景数据集。这限制了大型语言模型（LLM）在理解和生成逼真、符合人类意图的3D室内场景方面的能力。现有数据集通常规模较小，覆盖的场景类型有限，且缺乏细粒度的语义信息和自然语言描述，难以满足LLM的训练需求。

核心思路：IL3D的核心思路是构建一个大规模、高质量、多模态的室内布局数据集，包含丰富的3D场景、对象资产和自然语言标注。通过提供充足的训练数据，使LLM能够学习到室内场景的结构、对象之间的关系以及人类对场景的描述方式，从而提升LLM在3D场景生成任务中的性能和泛化能力。

技术框架：IL3D数据集的构建主要包括以下几个阶段：1) 场景收集：收集大量的室内布局数据，涵盖多种房间类型。2) 对象资产构建：构建一个包含大量高保真3D对象资产的库。3) 数据标注：对场景中的对象进行实例级别的自然语言标注，描述对象的位置、属性和与其他对象的关系。4) 数据格式转换：将数据转换为多种格式，包括点云、3D边界框、多视角图像等，以适应不同的视觉任务。

关键创新：IL3D的关键创新在于其数据集的规模、多样性和多模态性。相比于现有数据集，IL3D包含更多的场景、对象和标注，能够更好地支持LLM的训练。此外，IL3D还提供了多种数据格式，方便研究人员在不同的视觉任务中使用。

关键设计：IL3D数据集的关键设计包括：1) 场景类型的选择：选择了18种常见的房间类型，以保证数据集的多样性。2) 对象资产的质量：使用了高保真的3D对象资产，以保证场景的真实感。3) 自然语言标注的细粒度：对场景中的对象进行实例级别的标注，并描述对象之间的关系，以提供更丰富的信息。

📊 实验亮点

实验结果表明，在IL3D上对LLM进行监督微调（SFT）显著提高了泛化能力，并超越了在其他数据集上进行SFT的性能。具体来说，使用IL3D进行SFT的LLM在场景生成任务中的指标提升了XX%（具体数值未知），表明IL3D能够有效地提升LLM在3D场景生成方面的能力。

🎯 应用场景

IL3D数据集可广泛应用于3D场景生成、具身智能、机器人导航、虚拟现实和增强现实等领域。它能够为LLM提供充足的训练数据，提升LLM在理解和生成3D场景方面的能力，从而促进这些领域的发展。例如，在具身智能领域，IL3D可以用于训练机器人理解室内环境，并根据人类指令进行导航和操作。

📄 摘要（原文）

In this study, we present IL3D, a large-scale dataset meticulously designed for large language model (LLM)-driven 3D scene generation, addressing the pressing demand for diverse, high-quality training data in indoor layout design. Comprising 27,816 indoor layouts across 18 prevalent room types and a library of 29,215 high-fidelity 3D object assets, IL3D is enriched with instance-level natural language annotations to support robust multimodal learning for vision-language tasks. We establish rigorous benchmarks to evaluate LLM-driven scene generation. Experimental results show that supervised fine-tuning (SFT) of LLMs on IL3D significantly improves generalization and surpasses the performance of SFT on other datasets. IL3D offers flexible multimodal data export capabilities, including point clouds, 3D bounding boxes, multiview images, depth maps, normal maps, and semantic masks, enabling seamless adaptation to various visual tasks. As a versatile and robust resource, IL3D significantly advances research in 3D scene generation and embodied intelligence, by providing high-fidelity scene data to support environment perception tasks of embodied agents.