DexOAK: Object-Aware Kinematic Retargeting

📄 arXiv: 2610.26762v1 📥 PDF

作者: Federica Spinola, Robert Katzschmann, Cordelia Schmid

分类: cs.RO

发布日期: 2026-10-19

备注: 11 pages, 4 figures, 11 tables. Project page: https://fspinola.github.io/dexoak/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出DexOAK以解决机器人手部运动重定向问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 运动重定向 机器人手部 对象感知 人类运动捕捉 深度学习 交互图 非穿透损失 自碰撞损失

📋 核心要点

  1. 现有方法在机器人手部运动重定向中未能有效考虑物体接触信息，导致重定向结果不够自然和稳定。
  2. DexOAK通过最小化交互图拉普拉斯目标，结合人类运动捕捉数据和物体信息，生成更符合实际接触的机器人手部运动。
  3. 实验结果表明，DexOAK在多个任务中显著提升了重定向成功率，从39.5%提升至48.4%，并在ARCTIC数据集上ADD-AUC从62.7%提升至77.9%。

📝 摘要（中文）

我们提出了DexOAK，一个基于学习的对象感知运动重定向框架，用于从人类运动捕捉数据生成接触一致的机器人手部参考。DexOAK首先在关节手-物体图上最小化交互图拉普拉斯目标，使机器人能够重现示范的物体相对交互几何，而不仅仅是人类手部姿态。这些逐帧解决方案形成种子重定向参考，随后一个基于人类关键点和物体点云的前馈网络学习重定向函数。对象感知微调进一步在接触、非穿透和自碰撞损失下优化网络，确保手指定位在示范接触点上，并减少不稳定的物理基准优化伪影。经过训练后，网络能够通过推理转移到未见数据，无需逐帧优化。DexOAK在双手任务中对刚性和关节物体的动态重定向性能优于现有技术。

🔬 方法详解

问题定义：本论文旨在解决机器人手部运动重定向中缺乏物体接触感知的问题。现有方法往往只关注手部姿态，忽视了与物体的交互，导致重定向效果不佳。

核心思路：DexOAK的核心思路是通过建立一个手-物体交互图，最小化拉普拉斯目标，使机器人能够重现人类示范中的物体相对交互几何，而不仅仅是手部的姿态。这种方法能够更好地捕捉到物体接触信息，从而提高重定向的自然性和稳定性。

技术框架：DexOAK的整体架构包括三个主要模块：首先是基于人类运动捕捉数据生成的种子重定向参考；其次是一个前馈网络，该网络以人类关键点和物体点云为条件学习重定向函数；最后是对象感知微调阶段，通过接触、非穿透和自碰撞损失进一步优化网络。

关键创新：DexOAK的主要创新在于引入了对象感知的运动重定向方法，利用交互图拉普拉斯目标来确保手指与物体的接触一致性。这一方法与传统的只关注手部姿态的重定向方法有本质区别。

关键设计：在网络设计中，DexOAK采用了多种损失函数，包括接触损失、非穿透损失和自碰撞损失，以确保手指在接触点的准确定位。此外，网络结构经过精心设计，以便于在训练后能够实现零-shot转移到未见数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，DexOAK在双手任务中表现出色，成功率从39.5%提升至48.4%，而在ARCTIC数据集上的ADD-AUC从62.7%提升至77.9%。这些结果表明，DexOAK在动态重定向方面超越了现有技术，展示了其强大的应用潜力。

🎯 应用场景

DexOAK的研究成果在机器人操作、虚拟现实和人机交互等领域具有广泛的应用潜力。通过实现更自然的手部运动重定向，能够提升机器人在复杂环境中的操作能力，进而推动智能机器人在日常生活和工业应用中的普及。

📄 摘要（原文）

We introduce DexOAK, a learning-based object-aware kinematic retargeting framework for generating contact-consistent robot hand references from human motion-capture data. DexOAK first minimizes an interaction-graph Laplacian objective over a joint hand-object graph, so the robot reproduces the demonstrated object-relative interaction geometry rather than the human hand pose alone. These per-frame solutions form seed retargeted references, from which a feed-forward network conditioned on human keypoints and object point clouds learns the retargeting function. Object-aware finetuning then refines the network under contact, non-penetration, and self-collision losses that position the fingers on the demonstrated contacts and reduce artifacts destabilizing physics-based refinement. Once trained, the network transfers to unseen data by inference alone, without per-frame optimization. DexOAK references improve dynamic retargeting over the state-of-the-art across bimanual tasks with rigid and articulated objects. On the Inspire hand, success rises from 39.5% to 48.4% on OakInk-v2, and ADD-AUC rises from 62.7% to 77.9% on ARCTIC. Ablations trace the gains to object-aware kinematic retargeting and the amortized network refined with contact losses. Trained on OakInk-v2, it transfers to ARCTIC zero-shot and nears in-domain performance after fine-tuning. On hardware, 46/56 open-loop replays succeed across five tasks, enabling dexterous robot data generation from human data. Visualizations and interactive results are at: https://fspinola.github.io/dexoak/.