Bench2Dex: Benchmarking Visuo-Tactile Bimanual Dexterous Manipulation Across Dexterous Hands
作者: Zhenjie Yang, Yideng Zhang, Dongjie Zhang, Chenyu Jiang, Xianshuai Liu, Yufeng Li, Zuhao Ge, Xingyu Jiao, Zheng Zhang, Kaiyu He, He Wang, Yuwen Zhong, Yi Deng, Muyun Jiang, Xianliang Huang, Haisheng Su, Donghang Zhang, Jian Zhang, Xue Yang, Hongyang Li, Zuxuan Wu, Yu-Gang Jiang, Xiaosong Jia, Junchi Yan
分类: cs.RO, cs.AI, cs.CV
发布日期: 2026-09-14
备注: Technical Report. Project Page: https://bench2dex.github.io/
💡 一句话要点
提出Bench2Dex以解决多样化灵巧手的视觉-触觉双手操控问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视觉-触觉学习 灵巧手 双手操控 机器人模型 模拟基准 多模态观测 算法评估
📋 核心要点
- 现有灵巧手的触觉硬件设计不统一，导致在视觉-触觉操控研究中面临挑战。
- Bench2Dex通过共享的模拟触觉接口，提供一致的观测格式，适用于不同的手形态。
- 基准测试包含26个双手操控任务，并提供丰富的同步观测数据，便于算法开发与评估。
📝 摘要（中文）
触觉传感提供的接触信息往往难以仅通过视觉推断，但灵巧手的触觉硬件尚未形成统一设计。灵巧手在手指结构、接触表面和传感器布局上存在差异，而模拟触觉信号与物理传感器产生的测量结果仍然不同。这些因素使得在一致的实验环境中研究不同灵巧手的视觉-触觉操控变得困难。我们提出了Bench2Dex，这是一个针对12种灵巧手的视觉-触觉双手操控的模拟基准。该基准包含26个双手操控任务，提供同步的视觉、触觉、位置、动作和物体状态观测，以及可执行的任务指标。Bench2Dex旨在为研究灵巧手的视觉-触觉学习提供平台。
🔬 方法详解
问题定义：本论文旨在解决在多样化灵巧手中进行视觉-触觉操控时缺乏一致实验环境的问题。现有方法在触觉硬件设计和模拟信号与真实传感器输出之间存在差异，限制了研究的有效性。
核心思路：我们提出Bench2Dex基准，通过适配现有机器人模型，使用共享的模拟触觉接口，将局部接触几何信息转换为类似图像的触觉观测，从而实现不同手形态间的一致性。
技术框架：Bench2Dex的整体架构包括多个模块：首先是灵巧手模型的适配，其次是触觉接口的实现，最后是26个双手操控任务的设计与数据收集。每个任务都提供同步的多模态观测数据。
关键创新：Bench2Dex的主要创新在于其共享的模拟触觉接口，能够在不同手形态间提供一致的触觉观测，而不依赖于特定的物理触觉传感器。这一设计使得算法开发和评估变得更加灵活和高效。
关键设计：在设计中，我们将七种扰动类型分为不变轴和等变轴，以便于评估算法在不同情况下的表现。此外，基准还提供了约1300个由人类遥控的演示数据，增强了实验的可靠性。
🖼️ 关键图片
📊 实验亮点
在Bench2Dex基准上，我们评估了ACT、Diffusion Policy、pi0.5和GR00T N1.5等算法，报告了它们的性能和失败模式。实验结果显示，所提出的方法在多样化灵巧手的操控任务中表现出色，提供了更高的成功率和鲁棒性。
🎯 应用场景
Bench2Dex的研究成果可广泛应用于机器人操控、智能制造、医疗辅助等领域，尤其是在需要高精度和灵活性的双手操作任务中。随着触觉传感技术的不断发展，该基准将为未来的算法研究和硬件设计提供重要参考。
📄 摘要（原文）
Tactile sensing provides contact information that can be difficult to infer from vision alone, but tactile hardware for dexterous hands has not converged to a common design. Dexterous hands differ in finger structure, contact surfaces, and sensor layouts, while simulated tactile signals still differ from measurements produced by physical sensors. These factors make it difficult to study visuo-tactile manipulation across diverse dexterous hands within a consistent experimental setting. We present Bench2Dex, a simulation benchmark for visuo-tactile bimanual manipulation across 12 dexterous hands. We adapt existing robot models with a shared simulated tactile interface that converts local contact geometry into image-like tactile observations. The interface provides a consistent observation format across different hand morphologies without attempting to reproduce the output of a specific physical tactile sensor. Bench2Dex includes 26 bimanual manipulation tasks that involve tool use, articulated-object interaction, and multi-stage manipulation, together with about 1.3K human-teleoperated demonstrations. The benchmark provides synchronized visual, tactile, proprioceptive, action, and object-state observations, together with executable task metrics. For robustness, we group seven perturbation types into invariance axis, where the correct action does not change, and equivariance axis, where the correct action changes together with the perturbation. We evaluate ACT, Diffusion Policy, pi0.5, and GR00T N1.5 on Bench2Dex and report their performance and failure modes. Bench2Dex is meant as a platform for studying visuo-tactile learning across dexterous hands. It does not assume that simulated tactile observations can replace real tactile sensing; it offers a shared setting for algorithm development while tactile hardware and simulation models are still evolving.