EgoForesight: Effectively Scaling Policy Learning with Noisy Egocentric Actions
作者: Chubin Zhang, Changyuan Wang, Yirui Wang, Ao Li, Shilin Ma, Yue Su, Cai Zhou, Xiuwei Xu, Tianle Zhang, Yansong Tang
分类: cs.RO, cs.CV
发布日期: 2026-10-22
备注: Project page: https://lin-shan.com/EgoForesight
💡 一句话要点
提出EgoForesight以解决噪声自我中心动作的政策学习问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 政策学习 自我中心视频 噪声标签 视觉-语言-动作 演示监督 机器人学习 多模态融合
📋 核心要点
- 现有方法在政策学习中面临噪声自我中心动作标签的挑战，导致学习效果不佳。
- EgoForesight通过视觉-语言-动作框架，联合利用高质量演示和自我中心视频，减小噪声标签的影响。
- 实验表明，EgoForesight在30,000小时的预训练数据下，显著提升了模型性能，减少了动作均方误差和提高了成功率。
📝 摘要（中文）
政策学习的扩展需要广泛的经验和可靠的监督。机器人演示提供高质量的轨迹监督，但收集成本高。自我中心视频扩大了任务和环境覆盖，但运动重建和重定向引入了噪声动作标签。为了解决这一挑战，本文提出了EgoForesight，一个视觉-语言-动作框架，通过减少不可靠动作标签的影响并利用演示结果作为补充监督，联合学习这两种来源。该方法通过可靠性条件腐蚀分配动作监督，并通过特权未来表示蒸馏从演示结果中获取监督。实验结果显示，EgoForesight在扩展性上优于基线，减少了20.5%的实际开放环路动作均方误差，并在RoboCasa的少样本成功率上提高了8.1个百分点。
🔬 方法详解
问题定义：本文旨在解决政策学习中因自我中心动作标签噪声引起的监督不可靠问题。现有方法在处理噪声标签时表现不佳，导致学习效果受限。
核心思路：EgoForesight的核心思路是通过视觉-语言-动作框架，联合学习高质量演示和自我中心视频，利用演示结果作为补充监督，从而减小噪声标签的影响。
技术框架：该框架包括两个主要模块：一个是联合视觉-动作流，负责未来视觉表示预测与动作生成的耦合；另一个是特权未来表示蒸馏，利用演示结果进行监督。
关键创新：最重要的创新在于引入了可靠性条件腐蚀和特权未来表示蒸馏，前者根据源的可靠性分配动作监督，后者从演示结果中提取结构信息，超越了噪声动作注释的限制。
关键设计：在损失函数设计上，采用了可靠性加权回归来调节各源的贡献，同时使用指数移动平均教师来观察当前场景和清晰未来，以编码与动作相关的结构。
🖼️ 关键图片
📊 实验亮点
EgoForesight在实验中表现出比基线更陡峭的扩展斜率，减少了20.5%的实际开放环路动作均方误差，并在RoboCasa的少样本成功率上提高了8.1个百分点，显示出其在处理噪声自我中心动作方面的显著优势。
🎯 应用场景
EgoForesight的研究成果在机器人学习、自动驾驶和人机交互等领域具有广泛的应用潜力。通过有效处理噪声标签，该方法能够提升机器人在复杂环境中的决策能力，促进智能系统的自主学习与适应能力。
📄 摘要（原文）
Scaling policy learning requires broad experience and reliable supervision. Robot demonstrations provide high-quality trajectory supervision but are costly to collect. Egocentric videos broaden task and environment coverage, yet motion reconstruction and retargeting introduce noisy action labels. To address this challenge, we introduce EgoForesight, a vision-language-action framework that learns jointly from both sources by reducing the influence of unreliable action labels and exploiting demonstrated outcomes as complementary supervision. A joint vision-action flow couples future visual representation prediction with action generation, unifying reliability-aware action learning with outcome-informed representation transfer. Specifically, reliability-conditioned corruption allocates action supervision across noise levels according to source reliability, while reliability-weighted regression regulates each source's contribution. Complementing this treatment of noisy labels, privileged-future representation distillation draws supervision from demonstrated outcomes. An exponential-moving-average teacher observes the current scene and clean future to encode action-relevant structure from the resulting scene change. Its deeper representations supervise an earlier student layer receiving a corrupted future, providing outcome-informed structure beyond noisy action annotations. Together, these mechanisms support effective scaling with noisy egocentric actions. Over the tested range, EgoForesight exhibits steeper scaling slopes than the baseline, reducing real-world open-loop action MSE by 20.5% and improving RoboCasa few-shot success by 8.1 percentage points at 30,000 hours of pretraining data. After post-training, it also achieves strong absolute performance in both simulated and real-world dexterous manipulation.