SCRREAM : SCan, Register, REnder And Map:A Framework for Annotating Accurate and Dense 3D Indoor Scenes with a Benchmark

📄 arXiv: 2410.22715v2 📥 PDF

作者: HyunJun Jung, Weihang Li, Shun-Cheng Wu, William Bittner, Nikolas Brasch, Jifei Song, Eduardo Pérez-Pellitero, Zhensong Zhang, Arthur Moreau, Nassir Navab, Benjamin Busam

分类: cs.CV

发布日期: 2024-10-30 (更新: 2025-01-06)

💡 一句话要点

SCRREAM：提出室内场景稠密3D重建标注框架与基准数据集，提升几何任务精度。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 室内场景 数据集 稠密几何 SLAM 深度渲染 相机姿态估计

📋 核心要点

  1. 现有3D室内数据集通常为了泛化性而牺牲了ground truth的精度，这使得评估深度渲染等稠密几何任务变得困难。
  2. SCRREAM框架通过标注完全稠密的物体网格和精确的相机姿态，为稠密和稀疏3D任务生成准确的ground truth。
  3. 论文展示了基于SCRREAM框架构建的多种数据集变体，并利用最新的室内重建和SLAM算法建立了新的基准。

📝 摘要（中文）

为了解决现有3D室内数据集在几何细节上的不足，本文提出了SCRREAM，一个数据集标注框架，用于标注场景中物体的完全稠密网格，并在真实图像序列上注册相机姿态。该框架能够为稀疏和稠密3D任务生成精确的ground truth。论文详细介绍了数据集标注流程，并展示了从该框架获得的四种数据集变体及其示例场景，包括室内重建与SLAM、场景编辑与物体移除、人体重建和6D姿态估计。论文还利用最新的室内重建和SLAM流程作为新的基准，与之前的室内数据集相比，该设计允许在十一个示例场景中，针对精确渲染的ground truth深度图评估稠密几何任务。

🔬 方法详解

问题定义：现有的3D室内数据集通常为了追求大规模和泛化能力，牺牲了ground truth的精度，导致在评估诸如深度渲染等需要精细几何信息的任务时，数据集的网格不完整，从而产生错误的ground truth。这限制了对稠密几何任务的有效评估。

核心思路：SCRREAM的核心思路是构建一个能够生成高精度、稠密3D室内场景标注的框架。通过精确的扫描、注册、渲染和映射（Scan, Register, Render And Map）流程，该框架旨在提供高质量的ground truth，从而能够更准确地评估和改进各种3D视觉算法，特别是那些依赖于稠密几何信息的算法。

技术框架：SCRREAM框架包含以下主要模块：1) 扫描（Scan）：使用3D扫描设备获取室内场景的原始点云数据。2) 注册（Register）：将不同视角的点云数据进行配准，得到完整的场景点云模型。3) 渲染（Render）：基于注册后的点云模型，渲染出深度图等图像数据，用于生成ground truth。4) 映射（Map）：将相机姿态注册到真实图像序列上，建立图像与3D模型的对应关系。该框架支持生成多种数据集变体，以适应不同的应用场景。

关键创新：SCRREAM的关键创新在于其能够生成完全稠密的物体网格，并精确注册相机姿态。这与以往的室内数据集不同，以往的数据集通常只关注场景的整体结构，而忽略了物体的细节几何信息。SCRREAM通过提供高精度的稠密几何信息，为评估和改进稠密几何任务提供了可能。

关键设计：SCRREAM框架的关键设计包括：1) 精确的扫描设备选择和校准，以保证原始数据的质量。2) 高效的点云配准算法，以实现准确的场景重建。3) 精确的相机姿态估计方法，以建立图像与3D模型的精确对应关系。4) 数据集生成流程的模块化设计，以支持生成多种数据集变体。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了SCRREAM框架的有效性，并利用最新的室内重建和SLAM算法建立了新的基准。实验结果表明，基于SCRREAM框架生成的数据集能够更准确地评估稠密几何任务的性能。例如，在深度渲染任务中，使用SCRREAM数据集训练的模型能够生成更精确的深度图，从而提升了渲染质量。

🎯 应用场景

SCRREAM框架及其生成的数据集具有广泛的应用前景，包括：室内场景重建、SLAM算法评估、场景编辑与物体移除、人体重建、6D姿态估计等。该框架能够为这些应用提供高质量的训练数据和评估基准，促进相关领域的研究和发展。此外，SCRREAM还可以用于虚拟现实、增强现实等领域，提供更逼真的3D场景体验。

📄 摘要（原文）

Traditionally, 3d indoor datasets have generally prioritized scale over ground-truth accuracy in order to obtain improved generalization. However, using these datasets to evaluate dense geometry tasks, such as depth rendering, can be problematic as the meshes of the dataset are often incomplete and may produce wrong ground truth to evaluate the details. In this paper, we propose SCRREAM, a dataset annotation framework that allows annotation of fully dense meshes of objects in the scene and registers camera poses on the real image sequence, which can produce accurate ground truth for both sparse 3D as well as dense 3D tasks. We show the details of the dataset annotation pipeline and showcase four possible variants of datasets that can be obtained from our framework with example scenes, such as indoor reconstruction and SLAM, scene editing & object removal, human reconstruction and 6d pose estimation. Recent pipelines for indoor reconstruction and SLAM serve as new benchmarks. In contrast to previous indoor dataset, our design allows to evaluate dense geometry tasks on eleven sample scenes against accurately rendered ground truth depth maps.