DONIC: Generalist Dexterous Bimanual Tracking Control from Human Demonstrations
作者: Mingze Sun, Ziang Cao, Yuan Fei, Qiankuan Tao, Zihan Wang, Tianqi Liu, Junhao Chen, Haiwen Diao, Fangzhou Hong, Zhaoxi Chen, Ziwei Liu
分类: cs.RO, cs.CV
发布日期: 2026-10-21
💡 一句话要点
提出DONIC以解决双手灵巧追踪控制问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 双手追踪 灵巧操作 人类示范 近端策略优化 行为克隆 多视角数据集 机器人控制
📋 核心要点
- 现有方法主要关注单手操作，缺乏对双手灵巧行为的有效追踪，导致在复杂交互场景中的应用受限。
- 提出DONIC，通过联合训练不同操作类别和人类运动源，构建了一个通用的双手追踪控制框架，解决了数据稀缺和协调复杂性的问题。
- 在实验中，DONIC在未见轨迹上取得了86.79%的成功率，显著超越了现有双手追踪基线，提升幅度达到77.36个百分点。
📝 摘要（中文）
尽管在灵巧参考追踪方面取得了进展，现有模型主要集中于单手操作和有限的交互范围，未能解决现实生活中常见的双手灵巧行为。由于双手操作数据的稀缺和协调接触的复杂性，开发通用的双手追踪器尤其具有挑战性。因此，本文提出了DONIC，这是第一个在操作类别和人类运动源上联合训练的通用双手追踪器，并构建了BiHOI，一个包含1575个序列和229个物体的多视角数据集，强调持续的双手交互。DONIC结合了近端策略优化和行为克隆，通过反馈循环将验证成功的执行回收为训练示例。
🔬 方法详解
问题定义：本文旨在解决双手灵巧追踪控制中的数据稀缺和协调复杂性问题。现有方法主要集中于单手操作，未能有效处理双手交互的复杂性。
核心思路：提出DONIC，通过联合训练不同操作类别和人类运动源，利用反馈循环将成功执行回收为训练示例，从而提升双手协调操作的能力。
技术框架：整体架构包括数据收集、模型训练和反馈循环三个主要模块。数据集BiHOI提供了丰富的双手交互示例，模型通过近端策略优化和行为克隆进行训练。
关键创新：最重要的创新在于将近端策略优化与行为克隆结合，形成反馈循环，允许模型在训练中自我改进，提升了双手操作的协调性。
关键设计：采用对象中心的每手奖励机制，保持对象运动反馈，同时根据参考接触角色监督每只手。Clip-Centered Advantages设计消除了参考依赖的优势偏移，保留了轨迹内的差异。
🖼️ 关键图片
📊 实验亮点
实验结果显示，DONIC在未见轨迹上取得了86.79%的成功率，在持有物体上达到57.32%，分别超越了现有双手追踪基线77.36和45.73个百分点，展示了其在双手灵巧追踪中的显著优势。
🎯 应用场景
该研究的潜在应用领域包括人形机器人、自动化装配、虚拟现实等需要双手协调操作的场景。通过提高双手灵巧操作的能力，能够在复杂环境中实现更高效的任务执行，具有重要的实际价值和未来影响。
📄 摘要（原文）
Despite recent progress in dexterous reference tracking, existing models focus primarily on single-hand manipulation and a limited range of interactions, leaving the bimanual dexterous behaviors common in real life unaddressed. The scarcity of contact-rich bimanual manipulation data and the increased complexity of coordinating contacts make developing a generalist bimanual tracker particularly challenging. Therefore, we present 1) DONIC, the first generalist bimanual tracker jointly trained across operation categories and human-motion sources, together with 2) BiHOI, a multi-view dataset of 1,575 sequences spanning 229 objects and emphasizing sustained bimanual interaction, where reconstructed interactions are retargeted into robot references. DONIC combines proximal policy optimization with behavioral cloning in a feedback loop that recycles verified successful executions into training demonstrations. An object-centered per-hand reward maintains object-motion feedback while supervising each hand according to its reference contact role. Clip-Centered Advantages remove reference-dependent advantage offsets while preserving within-trajectory differences. Together, these designs enable one single policy to learn coordinated manipulation across heterogeneous references. Without finetuning, a single checkpoint achieves 86.79% success on unseen trajectories of training objects and 57.32% on held-out objects, surpassing the state-of-the-art bimanual tracking baselines by 77.36 and 45.73 percentage points.