EgoZero: Robot Learning from Smart Glasses
作者: Vincent Liu, Ademi Adeniji, Haotian Zhan, Siddhant Haldar, Raunaq Bhirangi, Pieter Abbeel, Lerrel Pinto
分类: cs.RO, cs.AI
发布日期: 2025-05-26 (更新: 2025-06-03)
💡 一句话要点
提出EgoZero以解决机器人学习中缺乏人类数据的问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人学习 人类演示 智能眼镜 操作策略 零-shot学习 数据压缩 泛化能力
📋 核心要点
- 现有的机器人学习方法在利用人类与环境的互动数据方面存在不足，导致机器人策略的性能远低于人类。
- EgoZero通过从人类演示中提取可执行动作，并压缩视觉观察为状态表示，实现了无需机器人数据的学习。
- 实验结果显示，EgoZero在7个操作任务中实现了70%的成功率，展示了其在实际应用中的有效性。
📝 摘要（中文）
尽管通用机器人技术取得了进展，但机器人策略在现实世界中仍远远落后于基本的人类能力。人类与物理世界的互动产生了丰富的数据资源，但在机器人学习中尚未得到充分利用。我们提出了EgoZero，一个最小化系统，从使用Project Aria智能眼镜捕获的人类演示中学习稳健的操作策略，并且不依赖任何机器人数据。EgoZero实现了从自然环境中提取可执行的机器人动作、将人类视觉观察压缩为形态无关的状态表示，以及能够在形态、空间和语义上进行泛化的闭环策略学习。我们在Fanka Panda机器人上部署了EgoZero策略，并在7个操作任务中实现了70%的零-shot转移成功率，仅需每个任务20分钟的数据收集。我们的结果表明，现实环境中的人类数据可以作为机器人学习的可扩展基础，开辟了未来丰富、多样和自然训练数据的可能性。
🔬 方法详解
问题定义：本论文旨在解决机器人学习中缺乏人类数据的问题。现有方法往往依赖于机器人自身的数据收集，导致学习效率低下且泛化能力不足。
核心思路：EgoZero的核心思路是利用人类通过智能眼镜捕获的演示数据，提取出可供机器人执行的操作，而无需依赖机器人自身的数据。这样的设计使得机器人能够更好地学习人类的操作方式。
技术框架：EgoZero的整体架构包括三个主要模块：首先，从人类演示中提取完整的可执行动作；其次，将人类的视觉观察压缩为形态无关的状态表示；最后，进行闭环策略学习，以实现更好的泛化能力。
关键创新：EgoZero的最大创新在于其能够在完全不依赖机器人数据的情况下，从人类演示中学习操作策略，这与传统方法形成了鲜明对比。
关键设计：在设计上，EgoZero采用了特定的损失函数来优化状态表示的压缩效果，并使用了适应性网络结构以提高策略学习的效率。
📊 实验亮点
在实验中，EgoZero在7个操作任务中实现了70%的零-shot转移成功率，显示出其强大的泛化能力。与传统方法相比，EgoZero仅需20分钟的数据收集时间，显著提高了学习效率，展示了人类数据在机器人学习中的重要性。
🎯 应用场景
EgoZero的研究成果具有广泛的应用潜力，尤其是在需要机器人执行复杂操作的领域，如家庭服务、工业自动化和医疗辅助等。通过利用人类的自然行为数据，EgoZero为机器人学习提供了一种新的思路，可能会显著降低训练成本并提高学习效率，推动机器人技术的普及和应用。
📄 摘要（原文）
Despite recent progress in general purpose robotics, robot policies still lag far behind basic human capabilities in the real world. Humans interact constantly with the physical world, yet this rich data resource remains largely untapped in robot learning. We propose EgoZero, a minimal system that learns robust manipulation policies from human demonstrations captured with Project Aria smart glasses, $\textbf{and zero robot data}$. EgoZero enables: (1) extraction of complete, robot-executable actions from in-the-wild, egocentric, human demonstrations, (2) compression of human visual observations into morphology-agnostic state representations, and (3) closed-loop policy learning that generalizes morphologically, spatially, and semantically. We deploy EgoZero policies on a gripper Franka Panda robot and demonstrate zero-shot transfer with 70% success rate over 7 manipulation tasks and only 20 minutes of data collection per task. Our results suggest that in-the-wild human data can serve as a scalable foundation for real-world robot learning - paving the way toward a future of abundant, diverse, and naturalistic training data for robots. Code and videos are available at https://egozero-robot.github.io.