EgoXperience: Learning World-Grounded Egocentric Representations from Human Experience

📄 arXiv: 2610.26625v1 📥 PDF

作者: Xinhao Ji, Hui En Pang, Hao Li, Kairui Hu, Jiner Wang, Mingze Sun, Ziang Cao, Yalun Dai, Thang Luu, Qin Ma, Hongyi Chen, Yukang Cao, Fangzhou Hong, Zhaoxi Chen, Ziwei Liu

分类: cs.CV

发布日期: 2026-10-19

💡 一句话要点

提出EgoXperience以解决人类活动重建中的一致性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 自我中心视频 人类活动重建 自动标注 几何验证 SLAM技术 联合重建 数据集构建 深度学习

📋 核心要点

  1. 现有方法在重建人类活动时缺乏对观察者运动和环境几何的一致性支持，导致重建效果不佳。
  2. EgoXperience通过自动标注引擎EgoX-Engine实现几何验证的物体跟踪与世界对齐，提供一致的监督信息。
  3. 实验结果表明，EgoX在场景估计和手物体姿态恢复方面表现出色，分别减少68.9%、65.6%和42.9%的误差，提升物体姿态得分28.0%。

📝 摘要（中文）

重建人类活动的自我中心视频不仅需要恢复单个3D组件，还需确保观察者的运动、周围几何和手物体交互在一致的世界中相互匹配。为此，EgoXperience提出了一种全栈范式，通过数据收集、自动标注、统一建模和基准测试来满足这些需求。其核心是EgoX-Engine，一个自动标注引擎，结合几何验证的物体跟踪与基于SLAM的世界对齐，为相机、场景、手和物体提供一致的监督。EgoX-Data-6M是一个包含50小时任务驱动的操作和运动的数据集，具有秒级任务标题。通过EgoX模型，利用EgoX-Data-6M及其他公共数据集的补充标注，实现了共享世界坐标系下的相机、场景、手和物体的联合度量重建。

🔬 方法详解

问题定义：本论文旨在解决从自我中心视频中重建人类活动时，观察者运动、环境几何和手物体交互之间缺乏一致性的问题。现有方法和数据集在这方面的支持有限，导致重建效果不理想。

核心思路：EgoXperience的核心思路是通过EgoX-Engine实现自动标注，结合几何验证的物体跟踪与SLAM技术，确保相机、场景、手和物体之间的监督信息一致，从而提高重建的准确性和一致性。

技术框架：EgoXperience的整体架构包括数据收集、自动标注、模型训练和基准测试四个主要模块。EgoX-Engine作为核心组件，负责提供一致的监督信息，EgoX模型则基于这些信息进行联合重建。

关键创新：EgoXperience的关键创新在于其自动标注引擎EgoX-Engine，通过几何验证和SLAM对齐，提供了一种新的监督方式，显著提高了重建的准确性。这一方法与现有技术相比，能够更好地处理复杂的手物体交互和环境变化。

关键设计：在模型设计中，EgoX使用了多种损失函数来优化重建效果，并在网络结构上进行了针对性的调整，以适应自我中心视频的特性。此外，数据集EgoX-Data-6M的构建也为模型训练提供了丰富的任务驱动数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EgoX在多个场景估计和手物体姿态恢复任务中表现出色，相较于最强基线，分别减少了68.9%、65.6%和42.9%的误差，并提升了物体姿态得分28.0%，展示了其在重建精度上的显著优势。

🎯 应用场景

该研究在虚拟现实、增强现实和人机交互等领域具有广泛的应用潜力。通过提供更准确的活动重建，EgoXperience可以改善用户体验，推动智能家居、机器人操作和自动驾驶等技术的发展。未来，该方法还可以扩展到其他类型的视觉理解任务中。

📄 摘要（原文）

Reconstructing human activity from egocentric video requires more than recovering individual 3D components: the observer's motion, surrounding geometry, and hand-object interactions must fit together in a consistent world. Achieving this coherence requires both joint reconstruction and aligned supervision, yet existing methods and datasets offer limited support for either. We present EgoXperience, a full-stack paradigm that addresses these needs through data collection, automatic annotation, unified modeling, and benchmarking. Central to EgoXperience is an automatic annotation engine, EgoX-Engine, that couples geometrically verified object tracking with SLAM-based world alignment, yielding consistent supervision for the camera, scene, hands, and objects. This yields EgoX-Data-6M, a 50-hour dataset of task-driven manipulation and locomotion within and across indoor and outdoor environments, with second-level task captions. We carefully select one hour across these activity categories as EgoX-Bench to evaluate joint reconstruction. To translate this supervision into reconstruction, we introduce EgoX, trained with EgoX-Data-6M and complementary annotations from additional public datasets. Given monocular egocentric video and first-frame object masks, our model achieves joint metric reconstruction of the camera, scene, hands, and objects in a shared world coordinate frame with a single forward pass. Extensive experiments demonstrate state-of-the-art performance across scene estimation and world-space hand-object pose recovery. Against the strongest evaluated baselines, EgoX reduces camera, hand, and depth errors by 68.9%, 65.6%, and 42.9%, and improves object pose scores by 28.0%.