DexJoCo: A Benchmark and Toolkit for Task-Oriented Dexterous Manipulation on MuJoCo

📄 arXiv: 2605.16257v1 📥 PDF

作者: Hanwen Wang, Weizhi Zhao, Xiangyu Wang, Siyuan Huang, He Lin, Boyuan Zheng, Rongtao Xu, Gang Wang, Yao Mu, He Wang, Lue Fan, Hongsheng Li, Zhaoxiang Zhang, Tieniu Tan

分类: cs.RO

发布日期: 2026-05-15

备注: 8 pages, 6 figures, project page is available at: https://dexjoco.github.io

💡 一句话要点

DexJoCo：面向灵巧操作的MuJoCo基准测试与工具包

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 灵巧操作 机器人学习 基准测试 MuJoCo 任务导向 工具使用 双手协调

📋 核心要点

  1. 现有灵巧操作基准缺乏能体现灵巧手相对于平行夹爪独特操作能力的任务，以及全面的评估流程。
  2. DexJoCo基准包含11个任务，涵盖工具使用、双手协调等，旨在系统评估灵巧手操作能力。
  3. 论文收集了1.1K轨迹数据，并对现有模型进行了广泛的基准测试，揭示了现有策略的局限性。

📝 摘要（中文）

本文提出了DexJoCo，一个面向任务的灵巧操作基准测试和工具包。该基准包含11个功能性任务，用于评估工具使用、双手协调、长时程执行和推理能力。作者构建了一个低成本的数据收集系统，并收集了涵盖这些任务的1.1K条轨迹，同时支持领域随机化以评估鲁棒性。论文对多种现代模型在不同设置下进行了基准测试，包括视觉和动力学随机化、多任务训练和动作头适配。通过广泛的实验分析，论文揭示了当前策略在灵巧操作中的一些重要见解和常见局限性，突出了未来灵巧手机器人学习研究的关键挑战。

🔬 方法详解

问题定义：现有灵巧操作基准测试无法充分评估灵巧手相对于传统平行夹爪的独特优势，缺乏能够体现灵巧手复杂操作能力的任务，并且评估流程不够全面，难以系统性地分析和比较不同算法的性能。这阻碍了灵巧手机器人学习领域的发展。

核心思路：DexJoCo的核心思路是设计一系列具有功能性的、面向任务的灵巧操作任务，这些任务能够充分利用灵巧手的多自由度和复杂运动能力，例如工具使用、双手协调等。通过在这些任务上进行基准测试，可以更有效地评估和比较不同算法的性能，并促进灵巧手机器人学习的研究。

技术框架：DexJoCo包含以下几个主要组成部分：1) 一组精心设计的灵巧操作任务，涵盖工具使用、双手协调、长时程执行和推理等多个方面。2) 一个低成本的数据收集系统，用于收集高质量的训练数据。3) 一个全面的评估流程，包括多种评估指标和实验设置，例如视觉和动力学随机化、多任务训练和动作头适配。4) 一个开源的工具包，方便研究人员使用和扩展该基准。

关键创新：DexJoCo的关键创新在于其任务设计的独特性，这些任务能够充分利用灵巧手的多自由度和复杂运动能力，从而更有效地评估和比较不同算法的性能。此外，DexJoCo还提供了一个全面的评估流程和开源工具包，方便研究人员使用和扩展该基准。

关键设计：DexJoCo的任务设计考虑了以下几个关键因素：1) 任务的功能性，即任务应该具有实际的应用价值。2) 任务的难度，即任务应该具有一定的挑战性，能够区分不同算法的性能。3) 任务的多样性，即任务应该涵盖不同的操作技能和场景。在实验设置方面，论文采用了多种技术，例如视觉和动力学随机化，以提高模型的鲁棒性。此外，论文还探索了多任务训练和动作头适配等技术，以提高模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过在DexJoCo基准上对多种现代模型进行基准测试，揭示了当前策略在灵巧操作中的一些重要局限性。例如，在视觉和动力学随机化设置下，模型的性能显著下降，表明现有模型的鲁棒性不足。此外，论文还发现，多任务训练和动作头适配等技术可以提高模型的泛化能力，但仍然存在很大的提升空间。

🎯 应用场景

DexJoCo基准测试和工具包可广泛应用于机器人灵巧操作、自动化装配、医疗手术机器人等领域。通过提供标准化的评估平台，促进相关算法的研发和性能提升，加速灵巧机器人在实际场景中的应用，例如在复杂环境下进行精细操作，提高生产效率和安全性。

📄 摘要（原文）

Achieving human-level manipulation requires dexterous robotic hands capable of complex object interactions. Advancing such capabilities further demands standardized benchmarks for systematic evaluation. However, existing dexterous benchmarks lack tasks that reflect the unique manipulation capabilities of dexterous hands over parallel grippers, as well as comprehensive evaluation pipelines. In this paper, we present DexJoCo, a benchmark and toolkit for task-oriented dexterous manipulation, comprising 11 functionally grounded tasks that evaluate tool-use, bimanual coordination, long-horizon execution, and reasoning. We develop a low-cost data collection system and collect 1.1K trajectories across these tasks, with support for domain randomization to assess robustness. We benchmark modern models under diverse settings, including visual and dynamics randomization, multi-task training, and action-head adaptation. Through extensive empirical analysis, we identify several important insights and common limitations of current policies in dexterous manipulation, highlighting key challenges for future research in dexterous hand robot learning. Project page available at: https://dexjoco.github.io