Zeva-Ego: Egocentric Mid-Training with In-Context Causal Learning for Robot Manipulation

📄 arXiv: 2609.24411v1 📥 PDF

作者: Bingjia Huang, Xin Ding, Fu Chen, Kun Li, Wei Sun, Hao Wu, Yunxin Liu, Ting Cao

分类: cs.RO

发布日期: 2026-09-21

💡 一句话要点

提出Zeva-Ego以解决机器人操控中的知识转化与适应性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自我中心视频 机器人操控 因果学习 动作中心编码 持续适应 物理交互 智能机器人

📋 核心要点

  1. 现有方法在将自我中心视频转化为机器人可执行知识和实现持续适应方面存在挑战。
  2. Zeva-Ego框架通过动作中心编码器和上下文因果学习实现从人类经验中学习并适应。
  3. 实验结果显示，扩展数据量和使用ICCL显著提升了机器人操控的成功率，达到了89%。

📝 摘要（中文）

Egocentric视频提供了可扩展的物理交互经验来源，但将其转化为机器人可执行的知识并实现持续适应仍然具有挑战性。本文提出了Zeva-Ego，一个统一框架，通过人类经验学习物理先验，并通过机器人交互不断演化。动作中心编码器（ACE）将自我中心视觉转化为以动作为中心的监督，支持VLA中期训练，而上下文因果学习（ICCL）则在部署时实现无参数适应。将自我中心数据扩展至10K小时，使RoboTwin的成功率从63.8%提升至75.3%，与2K小时的机器人演示（74.7%）相匹配。通过积累交互经验，ICCL进一步将成功率从58%提升至89%，无需参数更新。这些结果展示了从人类经验学习并通过自身交互持续改进的具身智能的可扩展路径。

🔬 方法详解

问题定义：本文旨在解决如何将自我中心视频中的物理交互经验有效转化为机器人可执行的知识，并实现机器人在实际应用中的持续适应性。现有方法在这方面的不足主要体现在知识转化效率低和适应能力差。

核心思路：Zeva-Ego框架的核心思路是通过人类的交互经验学习物理先验，并利用机器人与环境的交互不断演化。通过动作中心编码器（ACE）和上下文因果学习（ICCL），实现了无缝的知识转化与适应。

技术框架：该框架主要包括两个模块：动作中心编码器（ACE）和上下文因果学习（ICCL）。ACE负责将自我中心视觉转化为动作中心的监督信号，而ICCL则在机器人部署后根据动作效果反馈进行无参数的适应。

关键创新：最重要的技术创新在于结合了ACE和ICCL，使得机器人能够在没有额外参数更新的情况下，通过与环境的交互不断提升其操控能力。这种设计与传统方法的本质区别在于其适应性和学习效率。

关键设计：在ACE中，设计了特定的损失函数以优化动作中心的监督信号；ICCL则采用了基于反馈的学习机制，使得机器人能够实时调整其行为策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，将自我中心数据扩展至10K小时后，RoboTwin的成功率从63.8%提升至75.3%，与2K小时的机器人演示（74.7%）相当。通过ICCL，成功率在四次尝试内从58%提升至89%，展示了显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化制造、家庭服务机器人等。通过实现机器人从人类经验中学习并持续改进，Zeva-Ego能够在多种复杂环境中提升机器人操控的灵活性和效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Egocentric video offers a scalable source of physical interaction experience, yet translating it into robot-executable knowledge and enabling continual adaptation remain challenging. We introduce Zeva-Ego, a unified framework that learns physical priors from human experience and evolves through robot interaction. An Action-Centric Encoder (ACE) converts egocentric visual transitions into action-centered supervision for VLA mid-training, while In-Context Causal Learning (ICCL) enables parameter-free adaptation from action-effect feedback at deployment. Scaling Ego data to 10K hours improves RoboTwin success from 63.8% to 75.3%, matching 2K hours of robot demonstrations (74.7%), corresponding to an empirical data ratio of roughly 4-5:1. With accumulated interaction experience, ICCL further improves success from 58% to 89% within four attempts without parameter updates. These results demonstrate a scalable path toward embodied intelligence that learns from human experience and continuously improves through its own interaction.