ManipArena: Comprehensive Real-world Evaluation of Reasoning-Oriented Generalist Robot Manipulation
作者: Yu Sun, Meng Cao, Ping Yang, Rongtao Xu, Yunxiao Yan, Runze Xu, Liang Ma, Roy Gan, Andy Zhai, Qingxuan Chen, Zunnan Xu, Hao Wang, Jincheng Yu, Lucy Liang, Qian Wang, Ivan Laptev, Ian D Reid, Xiaodan Liang
分类: cs.RO, cs.CV
发布日期: 2026-03-30
备注: Technical report for CVPR 2026 Challenge ManipArena
💡 一句话要点
ManipArena：面向推理的通用机器人操作真实世界综合评估框架
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人操作 具身智能 视觉-语言-动作模型 世界模型 真实世界评估 标准化benchmark
📋 核心要点
- 现有机器人操作评估benchmark过度依赖模拟环境，忽略了真实世界的感知噪声和复杂动力学。
- ManipArena提供了一个标准化的评估框架，包含多样化的真实世界任务，强调推理能力。
- 该框架支持多层次泛化评估，提供丰富的感官诊断，并构建了同步的真实-模拟环境。
📝 摘要（中文）
视觉-语言-动作（VLA）模型和世界模型是通用机器人智能的有前景的范例，但其进展受到缺乏可靠的、反映真实世界部署的评估协议的阻碍。现有的基准测试主要以模拟器为中心，虽然提供了可控性，但未能捕捉到由感知噪声、复杂接触动力学、硬件约束和系统延迟引起的现实差距。此外，不同机器人平台上的零散的真实世界评估阻碍了公平和可重复的比较。为了解决这些挑战，我们引入了ManipArena，这是一个旨在弥合模拟和真实世界执行的标准评估框架。ManipArena包含20个不同的任务，涵盖10,812条专家轨迹，强调需要语义和空间推理的面向推理的操作任务，支持通过受控的分布外设置进行多层次泛化，并包含超出桌面场景的长期移动操作。该框架还提供丰富的感官诊断，包括低级电机信号，以及通过高质量3D扫描构建的同步真实-模拟环境。这些功能共同为VLA和世界模型方法提供公平、真实和可重复的评估，为诊断和推进具身智能系统提供可扩展的基础。
🔬 方法详解
问题定义：现有机器人操作评估benchmark主要集中在模拟环境中，无法充分反映真实世界的复杂性，例如感知噪声、复杂接触动力学、硬件约束和系统延迟。此外，不同机器人平台上的评估是分散的，缺乏统一的标准，导致难以进行公平和可重复的比较。这阻碍了VLA模型和世界模型在通用机器人智能领域的进展。
核心思路：ManipArena的核心思路是构建一个标准化的、真实的、可重复的机器人操作评估框架，弥合模拟和真实世界之间的差距。通过提供多样化的任务、丰富的感官数据和同步的真实-模拟环境，促进对VLA模型和世界模型的公平评估和诊断。
技术框架：ManipArena框架包含以下主要组成部分：1) 任务集：包含20个不同的任务，涵盖语义和空间推理，强调面向推理的操作。2) 专家轨迹：提供10,812条专家轨迹作为参考。3) 多层次泛化：支持通过受控的分布外设置进行多层次泛化评估。4) 感官诊断：提供低级电机信号等丰富的感官数据。5) 同步真实-模拟环境：通过高质量3D扫描构建同步的真实-模拟环境。
关键创新：ManipArena的关键创新在于其真实性和标准化。它不是一个纯粹的模拟环境，而是基于真实世界的场景和任务构建的，能够更准确地反映实际部署中的挑战。同时，它提供了一个统一的评估框架，使得不同方法可以在相同的条件下进行比较。
关键设计：ManipArena的关键设计包括：1) 任务的多样性：任务涵盖了不同的操作类型和难度级别，能够全面评估机器人的操作能力。2) 感官数据的丰富性：提供低级电机信号等丰富的感官数据，有助于诊断模型的性能瓶颈。3) 真实-模拟环境的同步：通过高质量3D扫描构建同步的真实-模拟环境，方便研究人员进行模拟训练和真实世界验证。
🖼️ 关键图片
📊 实验亮点
ManipArena包含20个不同的任务，涵盖10,812条专家轨迹，强调需要语义和空间推理的面向推理的操作任务。通过受控的分布外设置，支持多层次泛化评估。该框架还提供丰富的感官诊断，包括低级电机信号，以及通过高质量3D扫描构建的同步真实-模拟环境。
🎯 应用场景
ManipArena可应用于评估和改进通用机器人操作模型，例如VLA模型和世界模型。它能够促进机器人技术在工业自动化、家庭服务、医疗保健等领域的应用，例如，在复杂环境中执行装配、清洁、护理等任务。该框架为具身智能系统的发展提供了一个可扩展的基础。
📄 摘要（原文）
Vision-Language-Action (VLA) models and world models have recently emerged as promising paradigms for general-purpose robotic intelligence, yet their progress is hindered by the lack of reliable evaluation protocols that reflect real-world deployment. Existing benchmarks are largely simulator-centric, which provide controllability but fail to capture the reality gap caused by perception noise, complex contact dynamics, hardware constraints, and system latency. Moreover, fragmented real-world evaluations across different robot platforms prevent fair and reproducible comparison. To address these challenges, we introduce ManipArena, a standardized evaluation framework designed to bridge simulation and real-world execution. ManipArena comprises 20 diverse tasks across 10,812 expert trajectories emphasizing reasoning-oriented manipulation tasks requiring semantic and spatial reasoning, supports multi-level generalization through controlled out-of-distribution settings, and incorporates long-horizon mobile manipulation beyond tabletop scenarios. The framework further provides rich sensory diagnostics, including low-level motor signals, and synchronized real-to-sim environments constructed via high-quality 3D scanning. Together, these features enable fair, realistic, and reproducible evaluation for both VLA and world model approaches, providing a scalable foundation for diagnosing and advancing embodied intelligence systems.