IronMind: Scaling Humanoid Dexterous Manipulation via Camera-Space Ego-Centric Pretraining

📄 arXiv: 2609.39403v1 📥 PDF

作者: Huimin Pan, Yufan Ren, Kunpeng Song, Siyang Wang, Xiwen Zhang, Xiaoyun Hu, Zhuoxu Duan, Hanrui Zheng, Jialeng Ni, Nathan Zhao, Sibo Ma, Zhenxuan Fan, Zhongyang Che, Danny Bao, Jiacheng Wei, Jerry Bai, Xiaoyu Yue, Xiaoyang Guo, Chenyi Chen

分类: cs.RO

发布日期: 2026-09-30

备注: https://xpeng-robotics.github.io/ironmind/

💡 一句话要点

提出IronMind以解决人形机器人灵巧操作的挑战

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人形机器人 灵巧操作 第一视角视频 视觉-语言-动作 数据预训练 多模态学习 动作表示 知识迁移

📋 核心要点

  1. 现有方法在使用人类第一视角视频训练人形机器人时，面临体现差距和数据质量异质性等挑战。
  2. IronMind通过相机空间动作表示来解决体现差距，避免了显式的身体重定向，同时对齐机器人与人类的动作维度。
  3. 在多个实验中，10,000小时的预训练模型在未见物体的操作任务中成功率显著提升，达到55.0%。

📝 摘要（中文）

人类第一视角视频为灵巧操作提供了可扩展的数据源，但在训练人形机器人时面临两个挑战：一是人手与机器人末端执行器的结构差异导致的体现差距，二是数据质量的异质性，包括手势追踪噪声和弱对齐的文本注释。本文提出IronMind，一个视觉-语言-动作模型，利用人类第一视角视频和异质机器人数据对人形灵巧操作进行预训练。为弥补体现差距，IronMind通过使用相机空间动作表示来绕过显式的身体重定向，并在语义上对齐机器人和人类的动作维度。实验结果表明，预训练预算从250小时到10,000小时，验证损失随数据规模近似对数线性下降，10,000小时模型在六个具有挑战性的任务中成功率达到55.0%。

🔬 方法详解

问题定义：本文旨在解决使用人类第一视角视频训练人形机器人时的体现差距和数据质量异质性问题。现有方法在结构上无法有效对接人手与机器人末端执行器，且低成本的第一视角视频常常伴随噪声和不准确的注释。

核心思路：IronMind的核心思路是通过相机空间动作表示来弥补体现差距，避免了传统方法中需要的身体重定向过程。这种设计使得机器人能够在第一视角视频的原生参考空间中进行学习，从而实现更自然的动作模仿。

技术框架：IronMind的整体架构包括数据预处理、相机空间动作表示的构建、以及基于视觉-语言-动作的策略预训练。模型通过对人类动作和机器人动作进行语义对齐，来实现有效的知识迁移。

关键创新：IronMind的主要创新在于其相机空间动作表示方法，这一方法与传统的身体重定向方法本质上不同，能够直接利用第一视角视频中的信息进行学习，显著提高了灵巧操作的效果。

关键设计：在模型设计中，IronMind采用了多模态融合的策略，结合视觉信息和语言描述进行训练。损失函数设计上，强调了动作的语义一致性，确保机器人在学习过程中能够准确理解和执行人类的动作意图。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，IronMind在六个具有挑战性的任务中，10,000小时的预训练模型成功率达到55.0%，而在5,000小时及以下的预训练预算中，成功率最高仅为11.7%。此外，相机空间动作表示在相同预训练预算下也优于传统的身体框架基线，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括人形机器人在家庭、医疗和工业环境中的灵巧操作，如物品抓取、搬运和组装等。通过提升机器人在复杂环境中的操作能力，IronMind有望推动人形机器人技术的实际应用和普及，提升人机协作的效率与安全性。

📄 摘要（原文）

Egocentric human video offers a scalable data source for dexterous manipulation, yet using it to train humanoid robots presents two challenges: (1) an embodiment gap, as human hands differ structurally from robot end-effectors and low-cost egocentric recordings lack the torso kinematics required by conventional retargeting; and (2) heterogeneous data quality, including noisy hand-pose tracking and weakly aligned text annotations. We introduce IronMind, a vision-language-action (VLA) model that uses egocentric human video and heterogeneous robot data to pretrain policies for humanoid dexterous manipulation. To bridge the embodiment gap, IronMind bypasses explicit body-retargeting by using a camera-space action representation, the native reference space of egocentric video, and semantically aligning robot and human action dimensions. Across total pretraining budgets from 250 to 10,000 hours, validation loss decreases approximately log-linearly with data scale. Larger pretraining budgets also improve out-of-distribution real-robot manipulation after post-training: across six challenging tasks with unseen objects, affordances, and reasoning prompts, the 10,000-hour model achieves a 55.0% success rate, compared with at most 11.7% for every pretraining budget up to 5,000 hours and 5.0% without pretraining. At the same pretraining budget, the camera-space action representation also outperforms the torso-frame baseline. Together, these findings support pretraining with a camera-space action representation on large-scale human egocentric data as a scalable foundation for humanoid robot manipulation.