Ego4WAM: What Matters When Scaling Egocentric Human Data for Robot Learning?
作者: Zhihao Sun, Liu Liu, Xinjiang Wang, Haoyi Jiang, Wei Feng, Huiqiang Zhang, Xiaosong Jia, Zhizhong Su, Zuxuan Wu
分类: cs.RO, cs.CV
发布日期: 2026-09-30
💡 一句话要点
提出Ego4WAM以优化机器人学习中的自我中心人类数据使用
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 自我中心数据 机器人学习 数据对齐 任务多样性 视频监督
📋 核心要点
- 现有方法在利用自我中心人类数据时，未能明确哪些数据属性对机器人学习的提升最为关键。
- 论文提出在统一的世界-动作模型框架下，系统研究自我中心人类数据的不同对齐和监督方式的影响。
- 实验结果表明，良好的对齐显著提高了模型的泛化能力，并且视频监督在缺乏动作标签的情况下依然有效。
📝 摘要（中文）
自我中心人类数据为机器人学习提供了可扩展的经验来源，但在与机器人对齐、行为覆盖和可用监督方面存在显著差异。现有研究表明，随着人类数据的增加，机器人性能有利地提升，但尚不清楚哪些数据属性驱动下游机器人性能提升，以及如何在训练过程中有效利用这些数据。本文在统一的世界-动作模型框架下，系统研究了不同对齐和监督下的自我中心人类数据。通过固定模型主干，解构人类-机器人对齐、数据时长、任务多样性、动作监督和数据使用策略的影响。研究发现，良好的对齐显著提高了模型的泛化能力，并减少了目标任务对机器人数据的需求；数据时长和任务多样性对下游能力的影响各异；视频监督在没有动作标签的情况下依然有效，为后续的视频-动作训练奠定了基础。通过在真实机器人和RoboDojo上的闭环策略评估验证了这些发现。
🔬 方法详解
问题定义：本文旨在解决自我中心人类数据在机器人学习中的有效利用问题，现有方法未能明确哪些数据属性对机器人性能提升最为重要。
核心思路：通过在统一的世界-动作模型框架下，系统分析人类-机器人对齐、数据时长、任务多样性等因素对机器人学习的影响，从而优化数据使用策略。
技术框架：整体架构包括数据收集、数据预处理、模型训练和评估四个主要模块。在数据收集阶段，聚焦于不同对齐和监督方式的数据；在模型训练阶段，使用固定的模型主干进行实验。
关键创新：最重要的创新在于系统性地解构了自我中心人类数据的不同属性对机器人学习的影响，强调了对齐、任务多样性和监督策略的联合作用。
关键设计：在实验中，采用了不同的数据时长和任务多样性设置，损失函数设计上考虑了视频监督的有效性，确保在缺乏动作标签的情况下仍能进行有效训练。
🖼️ 关键图片
📊 实验亮点
实验结果显示，良好的对齐显著提高了模型的泛化能力，减少了目标任务对机器人数据的需求。视频监督在缺乏动作标签的情况下依然有效，为后续训练提供了强有力的支持。整体上，模型在真实机器人和RoboDojo上的闭环策略评估中表现优异。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、自动驾驶和人机交互等场景。通过优化自我中心人类数据的使用，能够提升机器人在复杂环境中的学习能力和适应性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Egocentric human data provides a scalable source of experience for robot learning, but varies substantially in human-robot alignment, behavioral coverage, and available supervision. Existing work shows favorable scaling with increasing human data, but it remains unclear which data properties drive downstream robot gains and how to use such data throughout the training pipeline. We present a systematic study of egocentric human data with different alignment and supervision under a unified world-action model framework. With the model backbone fixed, we disentangle the effects of human-robot alignment, data duration and task diversity, action supervision, and data usage strategies. We find that aligned human demonstrations substantially improve out-of-distribution generalization and reduce target-task robot data requirements; data duration and task diversity affect downstream capabilities differently; and video-only supervision remains effective without action labels, providing a strong foundation for subsequent video-action training. We validate these findings through closed-loop policy evaluation on both real robots and RoboDojo. Rather than treating data duration as the sole scaling axis, Ego4WAM shows how alignment, task diversity, available supervision, and usage strategy jointly shape the value of egocentric human data for robot learning.