RoomRecon: High-Quality Textured Room Layout Reconstruction on Mobile Devices

📄 arXiv: 2604.19025v1 📥 PDF

作者: Seok Joon Kim, Dinh Duc Cao, Federica Spinola, Se Jin Lee, Kyu Sung Cho

分类: cs.RO

发布日期: 2026-04-21

备注: 23 pages, including supplementary material. Accepted to the 2024 IEEE International Symposium on Mixed and Augmented Reality (ISMAR). Best Paper Nominee

期刊: Proc. IEEE Int. Symp. Mixed and Augmented Reality (ISMAR), 2024, pp. 544-553

DOI: 10.1109/ISMAR62088.2024.00069

💡 一句话要点

RoomRecon：移动端高质量纹理房间布局重建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 三维重建 纹理生成 增强现实 生成式AI 移动设备 室内场景 RGB-D传感器

📋 核心要点

  1. 现有3D重建技术难以捕捉室内场景的细微变化，且纹理质量不足，影响了VR/AR等应用的用户体验。
  2. RoomRecon提出一种交互式实时扫描和纹理处理流程，利用AR引导图像捕获和生成式AI模型提升纹理质量。
  3. 实验结果表明，RoomRecon在纹理质量和设备端计算时间上均优于现有方法，实现了更逼真的室内空间重建。

📝 摘要（中文）

RGB-D传感器和3D重建技术的普及促进了室内空间捕捉，改进了增强现实(AR)、虚拟现实(VR)和扩展现实(XR)领域。然而，现有技术仍存在局限性，例如无法反映细微的场景变化而需要完全重新捕捉，缺乏语义场景理解，以及影响3D模型视觉质量的各种纹理处理挑战。这些问题影响了VR体验以及室内设计和房地产等应用所需的真实感。为了解决这些挑战，我们提出了RoomRecon，一个用于3D房间模型的交互式实时扫描和纹理处理流程。我们提出了一个两阶段的纹理处理流程，集成了用于纹理处理的AR引导图像捕获和生成式AI模型，以提高纹理质量并提供更好的室内空间复制品。此外，我们建议只关注永久性的房间元素，如墙壁、地板和天花板，以实现易于定制的3D模型。我们在各种室内空间进行了实验，以评估我们方法的纹理质量和速度。定量结果和用户研究表明，RoomRecon在纹理质量和设备端计算时间方面优于最先进的方法。

🔬 方法详解

问题定义：现有基于RGB-D传感器的室内场景三维重建方法，在纹理生成方面存在诸多痛点。例如，当场景中存在少量物体移动或光照变化时，需要重新进行完整扫描，成本较高。此外，传统纹理生成方法难以保证高质量的纹理，影响了重建模型的真实感和可用性。

核心思路：RoomRecon的核心思路是结合AR引导的图像采集和生成式AI模型，实现高质量的纹理生成。通过AR引导，用户可以更精确地采集纹理信息，而生成式AI模型则可以对纹理进行增强和修复，从而提高整体的纹理质量。此外，该方法只关注房间的永久性结构，简化了重建过程，并允许用户对模型进行自定义修改。

技术框架：RoomRecon包含两个主要阶段：1) AR引导的图像采集阶段：利用移动设备的AR能力，引导用户从不同角度拍摄房间的纹理图像。2) 纹理生成阶段：首先对采集的图像进行预处理，然后利用生成式AI模型对纹理进行增强和修复，最后将生成的纹理映射到三维模型上。整个流程在移动设备上实时运行。

关键创新：RoomRecon的关键创新在于将AR引导的图像采集和生成式AI模型相结合，用于室内场景的三维重建。这种方法不仅可以提高纹理质量，还可以减少对硬件的要求，使得在移动设备上进行高质量的三维重建成为可能。此外，只关注房间的永久性结构也简化了重建过程，并提高了模型的可用性。

关键设计：在AR引导的图像采集阶段，论文设计了一套引导机制，帮助用户从不同角度拍摄纹理图像，以保证纹理信息的完整性。在纹理生成阶段，论文采用了某种生成式对抗网络（GAN）结构，用于对纹理进行增强和修复。具体的网络结构和损失函数等细节未在摘要中详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RoomRecon在纹理质量和设备端计算时间方面均优于现有方法。具体性能数据和对比基线未在摘要中给出，属于未知信息。用户研究表明，RoomRecon生成的3D模型具有更高的真实感和可用性。

🎯 应用场景

RoomRecon在AR/VR、室内设计、房地产等领域具有广泛的应用前景。例如，用户可以使用该技术快速创建自己房间的3D模型，并在VR环境中进行虚拟装修。房地产公司可以使用该技术为潜在买家提供更真实的房屋预览。该技术还有助于创建更逼真的虚拟环境，提升用户体验。

📄 摘要（原文）

Widespread RGB-Depth (RGB-D) sensors and advanced 3D reconstruction technologies facilitate the capture of indoor spaces, improving the fields of augmented reality (AR), virtual reality (VR), and extended reality (XR). Nevertheless, current technologies still face limitations, such as the inability to reflect minor scene changes without a complete recapture, the lack of semantic scene understanding, and various texturing challenges that affect the 3D model's visual quality. These issues affect the realism required for VR experiences and other applications such as in interior design and real estate. To address these challenges, we introduce RoomRecon, an interactive, real-time scanning and texturing pipeline for 3D room models. We propose a two-phase texturing pipeline that integrates AR-guided image capturing for texturing and generative AI models to improve texturing quality and provide better replicas of indoor spaces. Moreover, we suggest focusing only on permanent room elements such as walls, floors, and ceilings, to allow for easily customizable 3D models. We conduct experiments in a variety of indoor spaces to assess the texturing quality and speed of our method. The quantitative results and user study demonstrate that RoomRecon surpasses state-of-the-art methods in terms of texturing quality and on-device computation time.