DexJoCo-X: Benchmarking Action Representations for Multi-Hand Dexterous Manipulation
作者: Xiangwei Jiang, Yao Mu, Lixin Duan, Wen Li
分类: cs.RO
发布日期: 2026-10-02
备注: 8 pages, 5 figures. Project website: https://darenrenjian.github.io/DexJoCo-X-website/
💡 一句话要点
提出DexJoCo-X以解决多手灵巧操控的统一表示问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting)
关键词: 多手操控 跨形态学习 灵巧手 动作表示 机器人技术 策略学习 基准测试
📋 核心要点
- 现有方法在多手灵巧操控中面临数据收集和训练效率低下的问题，难以有效隔离不同因素的影响。
- DexJoCo-X提供了一个统一的基准和工具包，支持跨七种灵巧手的控制和多任务学习，旨在提高学习效率。
- 实验结果表明，采用Being-H0.5架构的策略在七手联合训练中取得了47.7%的成功率，显著优于其他方法。
📝 摘要（中文）
随着灵巧手的普及，为每种形态单独收集数据和训练策略变得越来越不切实际。因此，跨形态学习需要一种统一的表示，既能捕捉共享的操控结构，又能保留特定形态的控制。现有研究因手的差异、任务、数据集和控制接口的不同，无法有效隔离表示、预训练和架构的影响。本文提出DexJoCo-X，一个用于七种代表性灵巧手、六个单臂和双手任务的基准和工具包，包含2100个平衡演示。DexJoCo-X提供了匹配的多手、多任务协议，重新设计了手套到手的映射，并通过自动化管道扩展审查的演示。通过对比不同方法，本文探讨了共享动作接口在多手学习中的有效性。
🔬 方法详解
问题定义：本文旨在解决多手灵巧操控中，现有方法无法有效隔离表示、预训练和架构对学习效果的影响的问题。现有方法在不同手形态和任务间的适应性差，导致训练效率低下。
核心思路：DexJoCo-X通过提供统一的动作表示和跨形态预训练，旨在实现不同手之间的知识共享和高效学习。该方法设计了一个多手、多任务的协议，以便在相同场景下进行公平比较。
技术框架：DexJoCo-X的整体架构包括数据收集、动作表示、预训练和策略学习四个主要模块。数据收集阶段涵盖了2100个平衡演示，动作表示模块则设计了统一的动作空间。
关键创新：最重要的创新在于提出了Being-H0.5架构，它结合了跨形态预训练和统一动作空间，使得单一策略能够控制所有七种灵巧手。这一设计显著提升了多手联合训练的效果。
关键设计：在技术细节上，本文采用了功能对齐的动作槽设计，并在训练过程中使用了特定的损失函数，以确保共享操控结构与形态特定控制的有效分离。
🖼️ 关键图片
📊 实验亮点
实验结果显示，采用Being-H0.5架构的策略在七手联合训练中取得了47.7%的成功率，相较于原生坐标的47.0%和DexLatent的33.1%有显著提升，表明跨形态表示的有效性依赖于整个学习系统的设计。
🎯 应用场景
该研究的潜在应用领域包括机器人手臂、虚拟现实中的手势识别以及人机交互等。通过提高多手灵巧操控的学习效率，DexJoCo-X有望推动智能机器人在复杂环境中的应用，提升其自主操作能力。
📄 摘要（原文）
As dexterous hands proliferate, collecting data and training policies separately for every morphology becomes increasingly impractical. Scalable cross-embodiment learning therefore requires a unified representation that captures shared manipulation structure while preserving morphology-specific control. Differences in hands, tasks, datasets, and control interfaces prevent existing studies from isolating the effects of representation, pretraining, and architecture. We introduce DexJoCo-X, a benchmark and toolkit for controlled comparison across seven representative dexterous hands, six single-arm and bimanual tasks, and 2,100 balanced demonstrations. DexJoCo-X provides a matched multi-hand, multi-task protocol with common scenes, success criteria, and execution interfaces, redesigned glove-to-hand mappings, and an automated pipeline that expands reviewed demonstrations across randomized scenes. Using $π_{0.5}$, Ego-Pi, and Being-H0.5, we examine whether a shared action interface is sufficient for multi-hand learning. Expanding $π_{0.5}$ to an 80-dimensional bimanual output yields near-zero success. Ego-Pi preserves the pretrained action head through interleaved prediction and supports per-hand multi-task learning, but remains ineffective for seven-hand joint training. By contrast, Being-H0.5 combines cross-embodiment pretraining, a unified action space, and embodiment-aware experts, enabling one policy to control all seven hands. Within this architecture, function-aligned action slots achieve 47.7% mean success, compared with 47.0% for native coordinates and 33.1% for DexLatent. These results show that cross-embodiment representation depends on the entire learning system: action coordinates, pretraining, and architecture must jointly separate shared manipulation structure from embodiment-specific control.