EgoCPT: Learning Dexterous Manipulation from a Single Ego-Centric Video with Contact-Aware Optimization

📄 arXiv: 2610.17572v1 📥 PDF

作者: Zhixin Sun, Kairui Shi, Tianao Ren, Ming Yang, Mark Cutkosky, James Jingxi Xu

分类: cs.RO

发布日期: 2026-10-13

💡 一句话要点

提出EgoCPT以解决从人类视频学习灵巧操作的挑战

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion)

关键词: 灵巧操作 自我中心视频 接触感知优化 机器人学习 轨迹重建 人机交互 深度学习

📋 核心要点

  1. 现有方法在从人类视频中学习灵巧操作策略时，面临着重建物理基础机器人轨迹的巨大挑战。
  2. EgoCPT通过自我中心视频和参考手势轨迹，利用接触感知优化框架来学习高质量的灵巧手轨迹。
  3. 在五个操作任务中，EgoCPT在噪声手势重建上成功率为67.3%，在高质量重建上为92.0%，显著优于多个基线。

📝 摘要（中文）

在真实机器人上收集专家演示数据非常困难，而人类的自我中心视频则易于获取且在互联网上丰富。然而，从人类视频中学习灵巧操作策略仍然面临挑战，尤其是由于巨大的人体差异，重建物理基础的机器人轨迹变得困难。本文提出EgoCPT，这是一种新颖的范式，能够直接从自我中心视频中学习高质量的重定向灵巧手轨迹，并可直接在真实机器人上部署。该方法仅需自我中心的RGB视频和参考手势轨迹作为输入，具有较强的鲁棒性，能够处理噪声手势，得益于我们新颖的接触感知优化框架。通过五个操作任务的实验，我们的方法在噪声EgoDex手势重建上取得了67.3%的成功率，在高质量TACO重建上则达到了92.0%，超越了多个基线。

🔬 方法详解

问题定义：本文旨在解决从人类自我中心视频中学习灵巧操作策略的困难，尤其是由于人体差异导致的机器人轨迹重建问题。现有方法在处理噪声手势时表现不佳，难以实现高质量的操作。

核心思路：EgoCPT的核心思想是通过自我中心RGB视频和参考手势轨迹，结合接触感知优化框架，直接学习灵巧手轨迹。这种设计使得系统能够在真实环境中有效应用。

技术框架：该方法的整体架构包括输入自我中心视频和参考手势轨迹，接着通过接触感知优化模块迭代优化机器人手与物体之间的接触点，最终生成高质量的手轨迹。

关键创新：EgoCPT的主要创新在于引入接触感知优化框架，使得系统能够在处理噪声手势时保持鲁棒性。这一方法与传统的轨迹学习方法相比，显著提升了操作的准确性和可靠性。

关键设计：在技术细节上，EgoCPT采用了特定的损失函数来优化接触点，并设计了适应性强的网络结构，以处理不同质量的手势输入。这些设计确保了系统在多种操作任务中的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EgoCPT在五个操作任务中表现出色，噪声EgoDex手势重建的成功率达到67.3%，而高质量TACO重建的成功率高达92.0%。这些结果显著优于多个基线，展示了该方法在灵巧操作学习中的有效性和鲁棒性。

🎯 应用场景

EgoCPT的研究成果在机器人操作、虚拟现实和人机交互等领域具有广泛的应用潜力。通过从人类视频中学习灵巧操作，机器人可以更好地适应复杂的现实环境，提高其操作能力和灵活性。未来，该方法可能推动智能机器人在日常生活中的应用，提升人机协作的效率和安全性。

📄 摘要（原文）

While expert demonstrations on real robots are difficult to collect, human ego-centric videos are easy to collect and abundant on the internet. However, learning dexterous manipulation policies from human videos remains challenging---one of the most important challenges being the difficulty of reconstructing physically grounded robot trajectories due to the large embodiment gap. In this paper, we propose EgoCPT, a novel paradigm for learning high-quality retargeted dexterous hand trajectories directly from an ego-centric video, which can then be deployed directly on real robots. The only inputs to our method are an ego-centric RGB video and a reference hand pose trajectory, which can be easily obtained through off-the-shelf software or specialized cameras during recording. Our method is particularly robust to noisy hand poses attributed to our novel contact-aware optimization framework, which iteratively optimizes the contact points between the robot hands and objects. Across five manipulation tasks, our method achieves overall success rates of 67.3% on noisy EgoDex hand-pose reconstructions and 92.0% on high-quality TACO reconstructions collected using motion-capture hardware, outperforming multiple baselines on both benchmarks.