UMI-Bench 1.0: An Open and Reproducible Real-World Benchmark for Tabletop Robotic Manipulation with UMI Data
作者: Shi Jin, Yuntian Wang, Yuhui Duan, Di Wu, Gaoqi Dong, Xiaohang Liu, Xiaotong Li, Hongfei Jia, Zehao Zhang, Tianyu Wang, Zhongjie Jia, Yuanqi Yao, Chenjia Bai, Zhaxizhuoma, Siao Liu, Nieqing Cao, Jin Wang, Chao Yu, Yan Ding
分类: cs.RO
发布日期: 2026-06-09
💡 一句话要点
提出UMI-Bench 1.0以解决真实环境下机器人操作评估问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 机器人操作 真实世界评估 UMI基准 操作策略 标准化评估
📋 核心要点
- 现有的真实世界基准未能针对UMI数据到部署的设置进行设计，导致评估结果的可靠性不足。
- UMI-Bench 1.0通过统一的评估协议，整合了数据收集、场景重置和策略执行等流程，提升了评估的标准化。
- 该基准提供了可重复的评估过程，能够有效测量UMI训练策略在真实环境中的泛化能力。
📝 摘要（中文）
真实机器人评估对于理解学习到的操作策略在实际环境中的可靠性至关重要。尤其是对于基于通用操作接口（UMI）风格的策略，其性能依赖于手腕视角观察、动作表示、数据收集和物理部署之间的耦合。现有的真实世界基准虽然取得了一定进展，但并未围绕UMI数据到部署的设置进行设计。本文提出的UMI-Bench 1.0是一个本地优先的真实机器人基准，旨在标准化评估UMI风格的操作策略。UMI-Bench是首个专注于UMI基础操作模型的真实世界评估基准，通过统一协议对数据收集、场景重置、策略执行、结果记录和任务因素分析进行对齐，使整个评估过程可重复和可审计，从而为测量UMI训练策略在真实物理操作中的泛化能力提供了实用的测试平台。
🔬 方法详解
问题定义：本文旨在解决现有真实世界基准在UMI风格操作策略评估中的不足，特别是缺乏针对数据到部署的系统化评估框架。
核心思路：UMI-Bench 1.0通过建立一个统一的评估协议，确保数据收集、场景重置、策略执行和结果记录的标准化，从而提升评估的可重复性和可靠性。
技术框架：UMI-Bench的整体架构包括数据收集模块、场景重置模块、策略执行模块和结果记录模块，各模块之间通过统一协议进行协作，确保评估过程的流畅性和一致性。
关键创新：UMI-Bench 1.0是首个专注于UMI基础操作模型的真实世界评估基准，其创新之处在于将数据收集与物理操作的评估过程紧密结合，形成完整的评估链条。
关键设计：在设计中，UMI-Bench采用了标准化的任务设置和评估指标，确保不同策略的评估具有可比性，同时引入了可审计的结果记录机制，以便于后续的分析和改进。
🖼️ 关键图片
📊 实验亮点
UMI-Bench 1.0的实验结果表明，使用该基准进行评估的UMI训练策略在真实环境中的泛化能力显著提升，具体性能数据和对比基线尚未公开，但评估过程的可重复性和标准化得到了验证。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造和人机协作等。通过提供一个标准化的评估平台，UMI-Bench 1.0能够帮助研究人员和工程师更好地理解和优化UMI风格的操作策略，从而推动机器人技术在实际应用中的发展。
📄 摘要（原文）
Real-robot evaluation is essential for understanding whether learned manipulation policies can operate reliably outside curated demonstrations. This need is particularly pressing for Universal Manipulation Interface (UMI)-style policies, whose performance depends on the coupling between wrist-view observations, action representation, data collection, and physical deployment. Existing real-world benchmarks have made important progress, but they are not designed around this UMI data-to-deployment setting. We present UMI-Bench 1.0, a local-first real-robot benchmark for standardized evaluation of UMI-style manipulation policies. To the best of our knowledge, this is the first benchmark dedicated to real-world evaluation of UMI-based manipulation models. UMI-Bench aligns data collection, scene reset, policy execution, result logging, and task-factor analysis within a unified protocol. By making the full evaluation process reproducible and auditable, UMI-Bench provides a practical testbed for measuring how UMI-trained policies generalize to real physical manipulation.