H2RBench: A Real-to-Sim Benchmark for Evaluating Human-to-Robot Transfer

📄 arXiv: 2609.24778v1 📥 PDF

作者: Chuyang Xiao, Haotian Zhan, Sriram Krishna, Peilin Meng, Muhammad Zubair Irshad, Sergey Zakharov, David Held

分类: cs.RO

发布日期: 2026-09-21

备注: 10th Conference on Robot Learning (CoRL 2026), Austin, TX, USA

💡 一句话要点

提出H2RBench以解决人机转移评估标准化问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting)

关键词: 人机转移 机器人学习 标准化评估 模拟与现实 操作任务 性能比较 视频演示

📋 核心要点

  1. 现有的人机转移方法在评估时面临标准化不足的问题，导致不同方法间的比较困难。
  2. H2RBench通过提供一个基于真实和模拟演示的标准化协议，解决了人机转移评估的挑战。
  3. 实验结果表明，H2RBench能够有效评估不同方法的性能，并且模拟结果与现实世界表现高度相关。

📝 摘要（中文）

从人类视频演示中学习机器人操作策略是可扩展机器人学习的一条有前景的途径。然而，比较不同的人机转移（H2R）方法仍然具有挑战性，因为现有方法在不同的设置下进行评估，包括不同的任务套件、场景布局、物体实例和机器人监督量。为了解决这一挑战，本文提出了H2RBench，一个用于评估H2R转移方法的Real2Sim基准。H2RBench提供了一个基于真实人类视频演示和模拟机器人演示的标准化协议，并包括四个涵盖多样交互需求的操作任务。我们评估了多种代表性H2R转移方法，揭示了不同方法在利用额外人类数据能力上的显著差异。我们进一步表明，模拟性能在很大程度上可以预测现实世界的机器人性能，整体皮尔逊相关系数为r = 0.89，斯皮尔曼相关系数为ρ = 0.85，平均最大排名违例（MMRV）为0.06。这些结果确立了H2RBench作为实际可扩展的H2R评估基准的地位。

🔬 方法详解

问题定义：本文旨在解决人机转移方法评估标准化不足的问题。现有方法在不同的任务和环境下进行评估，导致比较困难，无法准确反映各方法的真实性能。

核心思路：H2RBench的核心思路是建立一个统一的基准，通过真实人类视频和模拟机器人演示来评估不同的人机转移方法，从而提供可比性和可扩展性。

技术框架：H2RBench的整体架构包括四个主要模块：真实人类视频演示、模拟机器人演示、标准化评估协议和多种操作任务。每个模块都旨在确保评估的一致性和全面性。

关键创新：H2RBench的最大创新在于其标准化的评估协议，能够系统性地比较不同H2R转移方法的性能，尤其是在利用人类演示数据的能力上。与现有方法相比，H2RBench提供了更为一致和可靠的评估框架。

关键设计：在设计中，H2RBench采用了多样化的操作任务和场景布局，并通过量化指标（如皮尔逊和斯皮尔曼相关系数）来评估模拟与现实世界性能的相关性，确保评估结果的科学性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，H2RBench能够有效评估不同H2R转移方法的性能，模拟性能与现实世界表现之间的皮尔逊相关系数为0.89，斯皮尔曼相关系数为0.85，表明其在实际应用中的可靠性和有效性。这些结果为H2R转移方法的比较提供了坚实的基础。

🎯 应用场景

H2RBench的研究成果在机器人学习和人机交互领域具有广泛的应用潜力。它可以帮助研究人员和工程师在开发和部署机器人时，快速评估和比较不同的人机转移方法，从而提高机器人在实际环境中的操作能力和适应性。未来，该基准可能会推动更高效的机器人学习算法的开发，促进人机协作的进步。

📄 摘要（原文）

Learning robot manipulation policies from human video demonstrations constitutes a promising avenue for scalable robot learning. However, comparing different human-to-robot (H2R) transfer methods remains challenging, as existing approaches are evaluated under different settings, including differing task suites, scene layouts, object instances, and amounts of robot supervision. To address this challenge, we present H2RBench, a Real2Sim benchmark for evaluating H2R transfer methods. H2RBench provides a standardized protocol built on real human video demonstrations and simulated robot demonstrations, and includes four manipulation tasks spanning diverse interaction requirements. We evaluate multiple representative H2R transfer methods, each adopting a different strategy for bridging the embodiment gap. Using H2RBench, we systematically characterize how each method scales with the amount of human demonstrations, revealing that methods differ substantially in their ability to leverage additional human data. We further show that simulation performance is broadly predictive of real-world robot performance, with an overall Pearson correlation of r = 0.89, Spearman correlation of \r{ho} = 0.85 and Mean Maximum Rank Violation (MMRV) of 0.06 across method-task configurations. These results establish H2RBench as a practical and scalable benchmark for comparative H2R evaluation prior to real-world deployment.