HandsOn: A Large-Scale Simulation Benchmark for Generalizable Dexterous Manipulation
作者: Tianwei Luo, Yiming He, Hongjin Wu, Ting Pan, Debin Ren, Haorui Guo, Junlin Yang, Yuxin Zuo, Zhehao Kou, Kaisen Yang, Zhuoqun Lai, Yi Ding, Jiale Yu, Yuchen Zhang, Zijie Qiu, Haozhan Li, Ning Ding
分类: cs.RO
发布日期: 2026-10-19
备注: 56 pages, including appendices
💡 一句话要点
提出HandsOn平台以解决通用灵巧操作的基准测试问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 灵巧操作 仿真平台 基准测试 多任务学习 机器人技术 人类示范 通用性评估
📋 核心要点
- 现有方法在不同实体和任务需求下的灵巧操作表现不稳定，缺乏有效的基准测试。
- HandsOn平台提供了一个综合的仿真环境，支持多种机器人和任务，促进灵巧操作的研究与评估。
- 在实验中，最佳多任务策略在Core-50上取得了29.1%的成功率，展示了该平台的有效性和应用潜力。
📝 摘要（中文）
通用操作需要在不同的实体、物体和任务需求下保持可靠的行为。本文介绍了HandsOn，一个可组合的仿真平台和基准，用于跨实体的灵巧操作。该平台支持五种机器人手臂、六种灵巧手以及约200种刚性、关节和可变形资产的随机场景。基准测试将18,000个精心策划的人类示范与66个经过人类验证的任务配对，Core-50支持基于示范的学习和执行测试，而Transfer-16评估资产和关系转移、技能组合以及在没有目标任务训练示范的情况下进行可变形操作。通过真实机器人实验展示了仿真到现实的转移效果。
🔬 方法详解
问题定义：本文旨在解决通用灵巧操作在不同实体和任务下的可靠性问题。现有方法在多样化场景中的表现不稳定，缺乏统一的评估标准。
核心思路：HandsOn平台通过提供一个可组合的仿真环境，支持多种机器人手臂和灵巧手，结合大量人类示范，来提升灵巧操作的通用性和可靠性。
技术框架：该平台包含多个模块，包括机器人手臂和手的选择、任务场景的随机化、以及人类示范的整合。通过Core-50和Transfer-16两个基准，评估不同操作策略的有效性。
关键创新：HandsOn的创新在于其综合性和可扩展性，能够支持多种机器人和任务类型，且通过大量人类示范进行验证，显著提升了操作的通用性。
关键设计：在设计中，采用了多种损失函数和网络结构，以优化示范学习和任务执行的效果。同时，平台的随机场景生成机制增强了训练的多样性和鲁棒性。
🖼️ 关键图片
📊 实验亮点
在实验中，最佳训练的多任务策略在Core-50基准上达到了29.1%的成功率，而未经过基准微调的GPT-6在Core-50和Transfer-16上的成功率分别为5.2%和1.9%。这些结果表明HandsOn平台在灵巧操作研究中的重要性和有效性。
🎯 应用场景
HandsOn平台的潜在应用领域包括机器人操作、自动化制造、服务机器人等。通过提供一个标准化的测试环境，研究人员和工程师可以更有效地评估和优化灵巧操作算法，推动相关技术的进步与应用。
📄 摘要（原文）
General-purpose manipulation requires reliable behavior across embodiments, objects, and task demands. We introduce HandsOn, a composable simulation platform and benchmark for cross-embodiment dexterous manipulation. It supports five robotic arms, six dexterous hands, and approximately 200 rigid, articulated, and deformable assets in randomized scenes. The benchmark pairs 18,000 curated human demonstrations with 66 human-verified tasks: Core-50 supports demonstration-based learning and execution tests, while Transfer-16 evaluates asset and relation transfer, skill composition, and deformable manipulation without target-task training demonstrations. Qualitative real-robot rollouts illustrate sim-to-real transfer. Across diffusion, vision-language-action, world-action, and prompted VLM-based methods, the best trained multi-task policy achieves 29.1% Core-50 success. Without benchmark finetuning, GPT-6 using move_eef for palm-and-finger control achieves 5.2% on Core-50 and 1.9% on Transfer-16 over 660 trials. Trained-policy stage diagnostics expose failures in contact establishment, action coordination, and maintaining achieved goals, with additional sequencing errors in composed tasks. HandsOn provides a shared basis for investigating manipulation generalization and the limits of reliable physical interaction.