X2Real: an eXtensive simulation benchmark for real-world generalist policies
作者: Lian Ruan, Jade Yang, Sherphylan Gao, Felix Gao, Kyson Liang, Galen Liu, Ligo Wu, Lane Jin, Guu Gu, Bevan Xie, Cloud Yan, Zongzi Yuan, Kino Luo, Emma Chen, Shuwen Chen, Yang Ping, Miles Guo, Rain Sun, Kayden Zhang, Alex Du, Ruihai Wu, Liang Hao, Zhaoshuo Li, Roy Gan, Hao Wang, Qian Wang
分类: cs.RO
发布日期: 2026-09-23
💡 一句话要点
提出X2Real以解决机器人通用操作策略评估中的挑战
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人操作 评估基准 仿真技术 多样性 公平性 领域随机化 性能分析
📋 核心要点
- 现有的机器人操作策略评估方法存在仿真与现实之间的显著差距，任务覆盖面不足，且评估过程不公平。
- X2Real通过校准模拟属性、采用多轴领域随机化和严格的训练-评估管道，提供一个信实、多样和公平的评估基准。
- 实验结果表明，X2Real在模拟与真实评估结果之间实现了0.84的线性相关性，显著提升了评估的可信度。
📝 摘要（中文）
通用机器人操作策略的快速发展面临可靠评估的挑战，现有的模拟基准存在显著的仿真与现实差距、任务覆盖面狭窄以及不公平评估等问题。为此，本文提出了X2Real，一个可进化的模拟基准，旨在基于Nvidia Isaac Lab-Arena真实评估机器人操作策略的性能。X2Real遵循信实性、多样性和公平性三大核心原则，校准模拟的视觉和物理属性，以实现与真实硬件的对齐，达到0.84的线性相关性。该基准涵盖10个能力维度和44个层次化的长期任务，支持基本操作技能及高级能力的评估，推动通用机器人操作策略的发展。
🔬 方法详解
问题定义：本文旨在解决现有机器人操作策略评估中的信实性、任务多样性和公平性不足的问题。现有方法往往无法有效缩小仿真与现实之间的差距，导致评估结果不可靠。
核心思路：X2Real通过校准模拟环境的视觉和物理属性，使其与真实硬件对齐，同时引入多轴领域随机化和严格的训练-评估管道，以确保评估的公正性和可信度。
技术框架：X2Real基于Nvidia Isaac Lab-Arena构建，包含三个主要模块：任务设计模块、评估模块和数据分析模块。任务设计模块支持多样化的任务创建，评估模块负责执行和记录评估结果，数据分析模块用于性能分析和反馈。
关键创新：X2Real的主要创新在于其可进化的设计，能够持续适应新的策略和任务，同时实现了高达0.84的仿真与现实评估结果的线性相关性，这是现有方法所未能达到的。
关键设计：在设计中，X2Real采用了模块化的任务设计，支持多种能力维度的评估，并使用自定义的物理领域特定语言来增强模拟的灵活性和可扩展性。
🖼️ 关键图片
📊 实验亮点
X2Real在实验中实现了0.84的线性相关性，显著提升了仿真与现实评估结果的一致性。与传统方法相比，X2Real在任务覆盖和评估公平性方面表现出色，提供了更为可靠的评估基础。
🎯 应用场景
X2Real的研究成果具有广泛的应用潜力，特别是在机器人操作、自动化生产和智能家居等领域。通过提供一个可靠的评估基准，X2Real能够促进机器人技术的进步，推动通用操作策略的实际应用和商业化进程。
📄 摘要（原文）
Generalist robot manipulation policies have developed rapidly, yet their reliable evaluation remains challenging due to fundamental flaws in existing simulation benchmarks: prominent sim-to-real gaps, narrow task coverage, and unfair evaluation caused by ambiguous training-test pipelines. Prior works only partially resolve these issues and lack simultaneous faithfulness, diversity, and fairness, while static benchmark designs fail to sustain long-term policy development. We present X2Real, an evolvable simulation benchmark for faithfully evaluating the real-world performance of robotic manipulation policies based on Nvidia Isaac Lab-Arena. Following three core principles (faithfulness, diversity, and fairness), X2Real calibrates simulation visual and physical properties to align with real hardware, achieving a 0.84 linear correlation between simulated and real-robot evaluation results. It features a comprehensive taxonomy with 10 capability dimensions and 44 hierarchical long-horizon tasks, covering basic manipulation skills and advanced capacities such as visual grounding, language understanding, and bimanual control. We further adopt multi-axis domain randomization and strictly disjoint training-evaluation pipelines to mitigate benchmark exploitation and ensure credible evaluation. Powered by a custom physical domain-specific language, the Mana simulation ecosystem supports modular task design and iterative performance analysis, alongside a nearly 300-hour annotated simulation trajectory dataset. X2Real offers a faithful, diverse, and fair evolving evaluation infrastructure, effectively bridging the sim-to-real evaluation gap and supporting the advancement of generalist robotic manipulation policies.