FIRE3D: Feed-forward Interactive 3D Scene Reconstruction Within A Minute

📄 arXiv: 2609.08848v1 📥 PDF

作者: Hongchi Xia, Tianhang Cheng, Wei-Chiu Ma, Shenlong Wang

分类: cs.CV, cs.RO

发布日期: 2026-09-08

备注: Project page: https://xiahongchi.github.io/Fire3D/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出FIRE3D以实现快速的3D场景重建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D场景重建 前馈网络 实时交互 计算机视觉 虚拟现实 增强现实 游戏开发

📋 核心要点

  1. 现有方法在3D场景重建中通常需要复杂的优化过程，导致速度缓慢且效率低下。
  2. FIRE3D通过前馈网络架构，直接从RGB图像中生成完整的3D场景表示，显著提高了重建速度和质量。
  3. 实验结果表明，FIRE3D在姿态精度、几何完整性和纹理质量上均优于现有方法，且速度提升达几个数量级。

📝 摘要（中文）

我们提出了FIRE3D，这是一个统一框架，可以在一分钟内将单张RGB图像或普通RGB视频转换为适用于游戏和交互应用的3D场景资产。FIRE3D的核心是一个前馈的端到端网络，它从RGB捕获中估计的RGB-D观测中预测组合场景表示，包括每个对象的6自由度姿态、边界框、网格和纹理。通过将场景建模为离散实体的集合，FIRE3D生成了物理解耦并准备好交互的完整模拟环境。我们的框架无需测试时优化，运行速度比以往的交互准备方法快几个数量级，并且在对象级完整性方面超越了现有的前馈3D方法。我们在多个数据集上展示了在姿态精度、几何完整性和纹理质量方面的竞争性或最先进的结果，同时速度也快了几个数量级。

🔬 方法详解

问题定义：本论文旨在解决现有3D场景重建方法在速度和效率上的不足，尤其是在交互应用中的实时性需求。现有方法通常依赖复杂的后处理优化，导致重建过程缓慢且不够灵活。

核心思路：FIRE3D的核心思路是采用前馈的端到端网络架构，直接从RGB图像或视频中提取信息，快速生成3D场景的各个组成部分。这种设计使得系统能够在不需要测试时优化的情况下，快速输出高质量的3D场景。

技术框架：FIRE3D的整体架构包括多个主要模块：首先，通过RGB捕获估计6自由度姿态和边界框；然后，网络生成每个对象的网格和纹理，最后将这些元素组合成一个完整的3D场景。

关键创新：FIRE3D的最大创新在于其无需测试时优化的能力和对象级完整性，能够在多个数据集上实现竞争性或最先进的结果。这与传统方法的依赖于后处理优化形成鲜明对比。

关键设计：在网络结构上，FIRE3D采用了特定的损失函数来优化姿态、几何和纹理的准确性，同时通过离散实体建模确保了场景的物理解耦和交互准备性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FIRE3D在多个数据集上展示了优越的性能，尤其在姿态精度、几何完整性和纹理质量方面，均超过了现有的最先进方法。实验结果表明，FIRE3D的速度提升达几个数量级，显著提高了3D场景重建的效率和实用性。

🎯 应用场景

FIRE3D的研究成果在游戏开发、虚拟现实和增强现实等领域具有广泛的应用潜力。通过快速生成高质量的3D场景资产，开发者能够更高效地创建沉浸式体验，提升用户互动性。此外，该技术还可用于建筑可视化和城市规划等领域，帮助设计师快速评估和展示设计方案。

📄 摘要（原文）

We present FIRE3D, a unified framework that takes a single RGB image or casual RGB video and transforms it into simulation-ready 3D scene assets for games and interactive applications in under a minute. At the core of FIRE3D is a feed-forward, end-to-end network that predicts a compositional scene representation from posed RGB-D observations estimated from the RGB capture, including the 6-DoF pose, bounding box, mesh, and texture for every object. By modeling the scene as a collection of discrete entities, FIRE3D produces amodally complete and simulation-ready environments where objects are physically decoupled and ready for interaction. Our framework requires no test-time optimization, runs orders of magnitude faster than prior interaction-ready methods, and provides object-level completeness beyond existing feed-forward 3D approaches. We demonstrate competitive or state-of-the-art results across pose accuracy, geometry completeness, and texture quality across various datasets while being orders of magnitudes faster. Project page: https://xiahongchi.github.io/Fire3D/