HumanX: Toward Agile and Generalizable Humanoid Interaction Skills from Human Videos

📄 arXiv: 2602.02473v1 📥 PDF

作者: Yinhuai Wang, Qihan Zhao, Yuen Fui Lau, Runyi Yu, Hok Wai Tsui, Qifeng Chen, Jingbo Wang, Jiangmiao Pang, Ping Tan

分类: cs.RO, cs.LG

发布日期: 2026-02-02

💡 一句话要点

HumanX：从人类视频中学习敏捷且泛化的类人机器人交互技能

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 类人机器人 交互技能学习 模仿学习 数据生成 零样本迁移

📋 核心要点

  1. 现有方法受限于真实交互数据的稀缺或需要精细的任务特定奖励工程，阻碍了类人机器人敏捷交互技能的发展。
  2. HumanX通过XGen生成多样且物理合理的机器人交互数据，并利用XMimic学习可泛化的交互技能，无需任务特定奖励。
  3. 实验表明，HumanX在多个领域成功学习并迁移了多种技能到真实机器人，泛化能力显著优于现有方法。

📝 摘要（中文）

本文提出HumanX，一个完整的框架，旨在将人类视频转化为类人机器人可泛化的、现实世界的交互技能，无需任务特定的奖励函数。HumanX集成了两个协同设计的组件：XGen，一个数据生成流程，从视频中合成多样且物理上合理的机器人交互数据，并支持可扩展的数据增强；XMimic，一个统一的模仿学习框架，学习可泛化的交互技能。在篮球、足球、羽毛球、货物拾取和反应式格斗五个不同领域进行评估，HumanX成功获得了10种不同的技能，并零样本迁移到真实的宇树G1类人机器人上。学习到的能力包括复杂的动作，如无需外部感知的虚晃转身后仰跳投，以及交互式任务，如超过10个连续循环的人机传递序列——从单个视频演示中学习。实验表明，HumanX的泛化成功率比现有方法高8倍以上，展示了一种可扩展且任务无关的途径，用于学习通用的、现实世界的机器人交互技能。

🔬 方法详解

问题定义：现有类人机器人交互技能学习方法面临两大挑战：一是真实交互数据匮乏，难以覆盖各种复杂场景；二是需要针对每个任务精心设计奖励函数，成本高昂且泛化性差。这限制了类人机器人在真实世界中执行敏捷和自适应交互任务的能力。

核心思路：HumanX的核心思路是从人类视频中提取交互知识，并将其迁移到类人机器人上。通过数据生成和模仿学习相结合的方式，克服了数据稀缺和奖励函数设计的难题。该方法旨在实现任务无关的学习，使机器人能够从少量人类演示中学习并泛化到新的交互场景。

技术框架：HumanX包含两个主要模块：XGen和XMimic。XGen是一个数据生成流程，负责从人类视频中合成机器人交互数据，并进行数据增强。XMimic是一个统一的模仿学习框架，利用生成的数据学习可泛化的交互技能。整个流程首先使用XGen从人类视频中生成大量机器人交互数据，然后使用XMimic训练机器人控制策略，最后将学习到的策略部署到真实的类人机器人上。

关键创新：HumanX的关键创新在于其数据生成流程XGen和模仿学习框架XMimic的协同设计。XGen能够从单个视频中生成多样化的机器人交互数据，显著降低了数据采集成本。XMimic采用统一的模仿学习框架，能够学习可泛化的交互技能，避免了针对每个任务进行单独训练。此外，该方法无需任务特定的奖励函数，进一步提高了学习效率和泛化能力。

关键设计：XGen的关键设计包括：使用物理引擎模拟机器人与环境的交互，确保生成数据的物理合理性；采用数据增强技术，增加数据的多样性，提高模型的泛化能力。XMimic的关键设计包括：使用Transformer网络作为策略模型，捕捉交互过程中的时序依赖关系；采用对抗训练的方式，提高模型的鲁棒性。

📊 实验亮点

HumanX在五个不同的领域（篮球、足球、羽毛球、货物拾取和反应式格斗）进行了评估，成功学习了10种不同的技能，并零样本迁移到真实的宇树G1类人机器人上。实验结果表明，HumanX的泛化成功率比现有方法高8倍以上，证明了其在学习通用机器人交互技能方面的优越性。例如，机器人可以完成复杂的动作，如虚晃转身后仰跳投，以及超过10个连续循环的人机传递序列。

🎯 应用场景

HumanX具有广泛的应用前景，可用于开发各种类人机器人的交互技能，例如体育运动、物流搬运、家庭服务等。该研究有望推动类人机器人在复杂环境中的应用，提高机器人的自主性和适应性，实现更自然的人机交互。未来，HumanX可以扩展到更多领域，例如医疗康复、教育培训等，为人类提供更智能、更便捷的服务。

📄 摘要（原文）

Enabling humanoid robots to perform agile and adaptive interactive tasks has long been a core challenge in robotics. Current approaches are bottlenecked by either the scarcity of realistic interaction data or the need for meticulous, task-specific reward engineering, which limits their scalability. To narrow this gap, we present HumanX, a full-stack framework that compiles human video into generalizable, real-world interaction skills for humanoids, without task-specific rewards. HumanX integrates two co-designed components: XGen, a data generation pipeline that synthesizes diverse and physically plausible robot interaction data from video while supporting scalable data augmentation; and XMimic, a unified imitation learning framework that learns generalizable interaction skills. Evaluated across five distinct domains--basketball, football, badminton, cargo pickup, and reactive fighting--HumanX successfully acquires 10 different skills and transfers them zero-shot to a physical Unitree G1 humanoid. The learned capabilities include complex maneuvers such as pump-fake turnaround fadeaway jumpshots without any external perception, as well as interactive tasks like sustained human-robot passing sequences over 10 consecutive cycles--learned from a single video demonstration. Our experiments show that HumanX achieves over 8 times higher generalization success than prior methods, demonstrating a scalable and task-agnostic pathway for learning versatile, real-world robot interactive skills.