FunRec: Reconstructing Functional 3D Scenes from Egocentric Interaction Videos

📄 arXiv: 2604.05621v1 📥 PDF

作者: Alexandros Delitzas, Chenyangguang Zhang, Alexey Gavryushin, Tommaso Di Mario, Boyang Sun, Rishabh Dabral, Leonidas Guibas, Christian Theobalt, Marc Pollefeys, Francis Engelmann, Daniel Barath

分类: cs.CV

发布日期: 2026-04-07

备注: CVPR 2026. Project page: https://functionalscenes.github.io

💡 一句话要点

FunRec：从第一视角交互视频重建功能性3D场景

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 3D场景重建 第一视角视频 铰接部件 运动学参数估计 功能性场景理解

📋 核心要点

  1. 现有铰接重建方法依赖受控环境或CAD先验，难以处理真实交互场景。
  2. FunRec从第一视角交互视频中自动发现铰接部件，估计运动参数并重建3D场景。
  3. 实验表明，FunRec在部件分割、铰接误差和重建精度上均显著优于现有方法。

📝 摘要（中文）

FunRec是一种直接从第一视角RGB-D交互视频中重建室内场景功能性3D数字孪生的方法。与依赖于受控设置、多状态捕获或CAD先验的现有铰接重建方法不同，FunRec直接处理真实场景中的人类交互序列，以恢复可交互的3D场景。它自动发现铰接部件，估计其运动学参数，跟踪其3D运动，并在规范空间中重建静态和移动几何体，从而生成兼容仿真的网格。在新的真实和模拟基准测试中，FunRec大幅超越了先前的工作，在部件分割方面实现了高达+50 mIoU的改进，铰接和姿态误差降低了5-10倍，并显著提高了重建精度。我们进一步展示了URDF/USD导出用于仿真、手势引导的affordance映射和机器人-场景交互等应用。

🔬 方法详解

问题定义：现有铰接重建方法通常依赖于受控的实验环境、多状态的捕捉或者CAD模型先验知识，这限制了它们在真实、非结构化的交互场景中的应用。因此，如何从真实的第一视角交互视频中自动地、准确地重建功能性的3D场景，成为了一个亟待解决的问题。

核心思路：FunRec的核心思路是从第一视角RGB-D交互视频中学习场景的功能性信息，并利用这些信息来指导3D场景的重建。通过分析人与场景的交互，自动发现场景中的铰接部件，并估计它们的运动学参数。这种方法避免了对先验知识的依赖，使其能够处理更加复杂的真实场景。

技术框架：FunRec的整体框架包含以下几个主要模块：1) 铰接部件发现：通过分析交互视频，自动识别场景中的铰接部件。2) 运动学参数估计：估计铰接部件的运动学参数，例如旋转轴、关节类型等。3) 3D运动跟踪：跟踪铰接部件在视频中的3D运动轨迹。4) 几何重建：在规范空间中重建静态和移动几何体，生成可用于仿真的网格模型。

关键创新：FunRec最重要的技术创新在于其能够从第一视角交互视频中自动地学习场景的功能性信息，并利用这些信息来指导3D场景的重建。与现有方法相比，FunRec不需要依赖于受控的实验环境或者CAD模型先验知识，因此能够处理更加复杂的真实场景。此外，FunRec还提出了一种新的运动学参数估计方法，该方法能够更加准确地估计铰接部件的运动学参数。

关键设计：FunRec的关键设计包括：1) 使用深度学习模型来识别铰接部件。2) 设计了一种新的损失函数来优化运动学参数的估计。3) 使用了一种基于优化的方法来跟踪铰接部件的3D运动轨迹。4) 使用了一种基于隐式曲面重建的方法来生成高质量的网格模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FunRec在真实和模拟基准测试中均取得了显著的性能提升。在部件分割方面，FunRec的mIoU比现有方法提高了高达50%。在铰接和姿态估计方面，FunRec的误差降低了5-10倍。此外，FunRec还显著提高了重建精度，生成了更加高质量的3D场景模型。这些实验结果表明，FunRec是一种非常有前景的3D场景重建方法。

🎯 应用场景

FunRec具有广泛的应用前景，例如机器人导航与操作、虚拟现实/增强现实、游戏开发、智能家居等。它可以帮助机器人更好地理解和操作周围环境，为用户提供更加沉浸式的虚拟现实体验，并为游戏开发者提供更加真实的场景建模工具。此外，FunRec还可以用于创建智能家居的数字孪生，从而实现更加智能化的家居控制。

📄 摘要（原文）

We present FunRec, a method for reconstructing functional 3D digital twins of indoor scenes directly from egocentric RGB-D interaction videos. Unlike existing methods on articulated reconstruction, which rely on controlled setups, multi-state captures, or CAD priors, FunRec operates directly on in-the-wild human interaction sequences to recover interactable 3D scenes. It automatically discovers articulated parts, estimates their kinematic parameters, tracks their 3D motion, and reconstructs static and moving geometry in canonical space, yielding simulation-compatible meshes. Across new real and simulated benchmarks, FunRec surpasses prior work by a large margin, achieving up to +50 mIoU improvement in part segmentation, 5-10 times lower articulation and pose errors, and significantly higher reconstruction accuracy. We further demonstrate applications on URDF/USD export for simulation, hand-guided affordance mapping and robot-scene interaction.