EgoMatrix: Physically Faithful Dexterous Robot Demonstrations from Egocentric Human Videos

📄 arXiv: 2610.18822v1 📥 PDF

作者: Ziheng Wang, Yanming Shao, Ting Mao, Kaihan Chen, Yiqun Wang, Xuanye Wu, Yao Mu

分类: cs.RO

发布日期: 2026-10-13

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出EgoMatrix以解决从第一人称视频获取机器人演示数据的问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 第一人称视频 手-物体交互 机器人演示 强化学习 数据重建 仿真技术 灵巧操作

📋 核心要点

  1. 现有方法在从第一人称视频中准确重建手-物体交互和生成高质量机器人演示方面存在显著不足。
  2. EgoMatrix通过将单目第一人称视频转换为可重放的双手轨迹和配对的机器人观察视频，解决了上述问题。
  3. 在多个数据集上，EgoMatrix的仿真成功率显著提升，重建性能在多个指标上达到最先进水平。

📝 摘要（中文）

第一人称人类视频为收集灵巧操作数据提供了一种可扩展的替代方案，但在将其作为可靠训练数据时面临两个挑战：从单目RGB中准确重建手-物体交互（HOI）和高质量的机器人演示，尤其是视觉观察。本文提出EgoMatrix，一个端到端的数据引擎，将单目第一人称人类视频转换为双手灵巧轨迹和配对的机器人观察视频，轨迹可直接在真实机器人上重放。该方法强调相对几何和接触，而非精确的场景恢复，利用重定向和强化学习（RL）在仿真中重现演示任务。通过在多样化、任务兼容的背景中渲染相同轨迹，扩展配对训练数据，同时保持机器人-物体的运动和接触。在TACO、OakInk2和自收集数据集上，EgoMatrix在仿真中的端到端成功率达到54.84%，而最强基线仅为14.52%。重建在两个公共基准的多数指标上达到了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决从单目第一人称视频中准确重建手-物体交互（HOI）和生成高质量机器人演示的挑战。现有方法在这两个方面的表现不佳，限制了其作为训练数据的可靠性。

核心思路：EgoMatrix的核心思路是通过重定向和强化学习（RL）将第一人称视频中的演示任务转化为可在真实机器人上重放的轨迹。该方法强调相对几何和接触，而非精确的场景恢复，从而提高了重建的准确性和实用性。

技术框架：EgoMatrix的整体架构包括数据采集、HOI重建、轨迹生成和机器人观察渲染四个主要模块。首先，从第一人称视频中提取手-物体交互信息，然后生成双手轨迹，最后在仿真环境中渲染机器人观察。

关键创新：EgoMatrix的主要创新在于其重建方法强调相对几何和接触，而不是传统的精确场景恢复。这种设计使得生成的轨迹在实际应用中更具可操作性和可靠性。

关键设计：在技术细节上，EgoMatrix采用了特定的损失函数来优化HOI重建的相对几何关系，并使用强化学习算法来训练机器人在仿真中重现演示任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EgoMatrix在多个数据集上的仿真成功率达到54.84%，显著高于最强基线的14.52%。在重建性能方面，EgoMatrix在大多数指标上达到了最先进的水平，展示了更真实的手-物体交互效果。

🎯 应用场景

EgoMatrix的研究成果在机器人操作、虚拟现实和人机交互等领域具有广泛的应用潜力。通过从第一人称视频中获取高质量的机器人演示数据，能够提升机器人在复杂环境中的操作能力，促进智能机器人技术的发展。

📄 摘要（原文）

Egocentric human videos offer a scalable alternative to robot teleoperation for collecting dexterous manipulation data. However, two challenges limit their use as reliable training data: accurate hand-object interaction (HOI) reconstruction from monocular RGB and high-quality robot demonstrations, especially visual observations. We present EgoMatrix, an end-to-end data engine that converts monocular egocentric human videos into bimanual dexterous trajectories and paired robot observation videos, with the trajectories directly replayable on real robots. It reconstructs HOI with emphasis on relative geometry and contact rather than exact metric scene recovery, then uses retargeting and reinforcement learning (RL) to reproduce the demonstrated tasks in simulation. We jointly render robot hands and objects from these simulated trajectories to produce physically faithful observations synchronized with state and control records. Rendering the same trajectories in diverse, task-compatible backgrounds expands paired training data while preserving robot-object motion and contact. Across TACO, OakInk2, and self-collected data, EgoMatrix achieves 54.84% end-to-end success in simulation versus 14.52% for the strongest baseline. Reconstruction reaches state-of-the-art performance on most metrics of the two public benchmarks. Qualitative results show more faithful hand-object interactions than prior methods, while feature-space analysis shows closer alignment with real-robot observations than GPT-6 Astra.Our project page is available at https://spikew726.github.io/EgoMatrix/.