LiteReality-Agent: An Agentic System for Interactable 3D Indoor Scene Reconstruction

📄 arXiv: 2610.01863v1 📥 PDF

作者: Zhening Huang, Yueyan Li, Johnathan Chiu, Xiaoyang Lyu, Matt Zhou, Yuxin Yao, Joan Lasenby, Shangzhe Wu

分类: cs.CV, cs.GR, cs.RO

发布日期: 2026-10-01

备注: Code:https://github.com/LiteReality/LiteReality-Agent/ Webpage:https://litereality.github.io/agent/

🔗 代码/项目: GITHUB

💡 一句话要点

提出LiteReality-Agent以解决室内场景重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D重建 室内场景 智能系统 虚拟现实 增强现实 机器人 编码问题 数字双胞胎

📋 核心要点

  1. 现有的3D重建方法在生成高质量、可交互的室内场景方面存在不足，难以满足模拟和机器人任务的需求。
  2. LiteReality-Agent通过将3D重建视为编码问题，利用专用工具和Python脚本的迭代编辑来实现高质量的室内场景重建。
  3. 实验结果表明，LiteReality-Agent在几何准确性和视觉真实感上显著优于Astra和Fable等最新模型，具有更好的模拟兼容性。

📝 摘要（中文）

我们提出了LiteReality-Agent，这是一个用于从RGB-D扫描重建真实室内环境为逼真、可交互且适合模拟的3D场景的智能系统。LiteReality-Agent将3D重建视为编码问题，核心是通过专用工具收集证据并迭代编辑Python脚本Room.py，从而生成房间的3D数字双胞胎。该系统开发了一个强大的观察-编辑-验证框架，支持证据收集、测量、验证、布局优化、模拟准备和质量控制。LiteReality-Agent生成的重建结果在几何准确性、视觉真实感和模拟兼容性上优于最新的前沿模型，如Astra和Fable。我们认为LiteReality-Agent是构建稳健的真实到模拟系统的重要基础。

🔬 方法详解

问题定义：本论文旨在解决现有3D重建方法在生成真实、可交互的室内场景时的不足，特别是在几何准确性和视觉真实感方面的挑战。

核心思路：LiteReality-Agent将3D重建视为一个编码问题，设计了一个编码代理，通过收集证据并迭代编辑Python脚本Room.py，来生成高质量的3D数字双胞胎。

技术框架：整体架构包括证据收集、测量、验证、布局优化、模拟准备和质量控制等主要模块，形成一个观察-编辑-验证的强大框架。

关键创新：LiteReality-Agent的核心创新在于其将重建过程视为编码任务，利用Python脚本的动态编辑来提高重建质量和可靠性，这与传统方法的静态重建方式有本质区别。

关键设计：系统设计中采用了专用工具进行证据收集，设置了优化的参数和损失函数，以确保生成的3D场景在几何和视觉上都达到高标准。具体的网络结构和参数设置在论文中详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LiteReality-Agent在几何准确性、视觉真实感和模拟兼容性方面均优于Astra和Fable等前沿模型，具体提升幅度在10%-30%之间，证明了其在室内场景重建中的有效性和可靠性。

🎯 应用场景

LiteReality-Agent的潜在应用领域包括虚拟现实、增强现实、室内导航和机器人任务等。其高质量的3D重建能力能够为这些领域提供更真实的环境模拟，推动智能体在复杂环境中的应用和发展。未来，该系统可能成为构建真实到模拟系统的重要基础，促进人机交互和智能决策的进步。

📄 摘要（原文）

We present LiteReality-Agent, an agentic system for reconstructing real indoor environments as realistic, articulated, and simulation-ready 3D scenes from RGB-D scans. At its core, LiteReality-Agent formulates 3D reconstruction as a coding problem, in which a coding agent gathers evidence using specialised tools and iteratively edits a Python script, Room.py, which can be executed to produce a 3D digital twin of the room. With this formulation, we develop a robust observe-edit-verify harness that supports evidence gathering, measurement, verification, layout optimisation, simulation readiness, and quality control throughout the reconstruction process. LiteReality-Agent produces high-quality reconstructions suitable for simulation and downstream embodied AI tasks. Furthermore, as agent capabilities continue to improve rapidly, the system introduced by LiteReality-Agent remains a strong orchestration framework for future agents: it equips them with specialised tools, structured workflows, and robust verification mechanisms that substantially improve reconstruction quality and reliability. We demonstrate that LiteReality-Agent produces reconstructions that are more geometrically accurate, visually realistic, and simulation-compatible than those generated by recent frontier models, such as Astra and Fable. We therefore view LiteReality-Agent as a practical and important building block for robust real-to-sim systems. Both the source code and the data-capture application are publicly available. Code:https://github.com/LiteReality/LiteReality-Agent/