EgoFun3D: Modeling Interactive Objects from Egocentric Videos using Function Templates

📄 arXiv: 2604.11038v1 📥 PDF

作者: Weikun Peng, Denys Iliash, Manolis Savva

分类: cs.CV

发布日期: 2026-04-13

备注: Project website: https://3dlg-hcvc.github.io/EgoFun3D/

💡 一句话要点

EgoFun3D：提出一种基于功能模板的自中心视频交互3D对象建模方法

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自中心视频 交互式3D对象建模 功能模板 具身智能 部件分割 关节运动估计

📋 核心要点

  1. 现有方法在交互式3D对象建模方面，尤其是在跨部件功能映射的建模上存在不足，限制了具身智能的应用。
  2. EgoFun3D通过引入功能模板这一结构化表示，能够捕获对象部件间的功能关系，从而实现更精确的交互式3D对象建模。
  3. 论文构建了包含271个自中心视频的数据集，并提出了一个四阶段流程，为交互式3D对象建模提供了基准和解决方案。

📝 摘要（中文）

本文提出了EgoFun3D，一个协同的任务定义、数据集和基准，用于从自中心视频中建模交互式3D对象。交互式对象对于具身智能至关重要，但数据稀缺，因此从易于获取的真实世界视频中进行建模具有重要价值。我们的任务侧重于从自中心视频输入中获得可用于仿真的交互式3D对象。与先前主要关注关节运动的工作不同，我们通过功能模板（一种结构化的计算表示）来捕获通用的跨部件功能映射（例如，炉灶旋钮的旋转控制炉灶燃烧器的温度）。功能模板能够实现精确的评估，并可直接编译成跨仿真平台的可执行代码。为了实现全面的基准测试，我们引入了一个包含271个自中心视频的数据集，这些视频具有挑战性的真实世界交互，并配有3D几何、2D和3D分割、关节运动和功能模板注释。为了解决该任务，我们提出了一个四阶段流程，包括：2D部件分割、重建、关节运动估计和功能模板推断。全面的基准测试表明，该任务对于现成的（off-the-shelf）方法来说具有挑战性，突出了未来工作的方向。

🔬 方法详解

问题定义：论文旨在解决从自中心视频中建模交互式3D对象的问题，特别是对象部件之间的功能映射关系。现有方法主要关注关节运动，缺乏对部件间功能关系的建模能力，导致无法准确模拟对象的交互行为。此外，缺乏高质量的交互式3D对象数据集也限制了相关研究的进展。

核心思路：论文的核心思路是利用功能模板来表示对象部件之间的功能映射关系。功能模板是一种结构化的计算表示，可以明确地描述部件之间的依赖关系，例如旋钮的旋转角度与炉灶温度之间的关系。通过功能模板，可以实现对交互式3D对象更精确的建模和仿真。

技术框架：论文提出了一个四阶段的建模流程：1) 2D部件分割：利用图像分割技术将视频帧中的对象部件分割出来；2) 重建：从分割的2D部件中重建出3D几何形状；3) 关节运动估计：估计对象部件的关节运动参数；4) 功能模板推断：根据部件的运动和几何信息，推断出部件之间的功能映射关系，并用功能模板表示。

关键创新：论文的关键创新在于引入了功能模板来表示交互式3D对象的功能映射关系。与传统的关节运动建模方法相比，功能模板能够更全面、更准确地描述对象部件之间的交互行为。此外，论文构建了一个包含大量真实世界交互视频的数据集，为相关研究提供了宝贵的数据资源。

关键设计：在功能模板推断阶段，论文可能采用了基于图神经网络的方法，将对象部件表示为节点，部件之间的功能关系表示为边，通过学习图结构来推断功能模板。损失函数可能包括重建损失、关节运动损失和功能模板预测损失，以保证建模的准确性和一致性。具体的网络结构和参数设置在论文中应该有详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文构建了一个包含271个自中心视频的数据集，并对提出的四阶段流程进行了基准测试。实验结果表明，现有方法在该任务上表现不佳，突出了该任务的挑战性，并为未来的研究方向提供了参考。具体的性能数据和对比基线需要在论文中查找（未知）。

🎯 应用场景

该研究成果可应用于机器人操作、虚拟现实、增强现实等领域。例如，机器人可以利用建模的交互式3D对象进行操作学习和任务规划；在虚拟现实和增强现实中，用户可以与虚拟对象进行更真实的交互。该研究有助于提升具身智能的水平，促进人机交互的发展。

📄 摘要（原文）

We present EgoFun3D, a coordinated task formulation, dataset, and benchmark for modeling interactive 3D objects from egocentric videos. Interactive objects are of high interest for embodied AI but scarce, making modeling from readily available real-world videos valuable. Our task focuses on obtaining simulation-ready interactive 3D objects from egocentric video input. While prior work largely focuses on articulations, we capture general cross-part functional mappings (e.g., rotation of stove knob controls stove burner temperature) through function templates, a structured computational representation. Function templates enable precise evaluation and direct compilation into executable code across simulation platforms. To enable comprehensive benchmarking, we introduce a dataset of 271 egocentric videos featuring challenging real-world interactions with paired 3D geometry, segmentation over 2D and 3D, articulation and function template annotations. To tackle the task, we propose a 4-stage pipeline consisting of: 2D part segmentation, reconstruction, articulation estimation, and function template inference. Comprehensive benchmarking shows that the task is challenging for off-the-shelf methods, highlighting avenues for future work.