Geometric Retargeting: A Principled, Ultrafast Neural Hand Retargeting Algorithm

📄 arXiv: 2503.07541v1 📥 PDF

作者: Zhao-Heng Yin, Changhao Wang, Luis Pineda, Krishna Bodduluri, Tingfan Wu, Pieter Abbeel, Mustafa Mukadam

分类: cs.RO, cs.AI, cs.GR, cs.HC, cs.LG

发布日期: 2025-03-10

备注: Project Website: https://zhaohengyin.github.io/geort

💡 一句话要点

提出Geometric Retargeting (GeoRT)，一种超快速、有原则的神经手部重定向算法，用于遥操作。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 手部重定向 遥操作 无监督学习 几何约束 机器人控制

📋 核心要点

  1. 现有手部重定向方法速度慢、超参数多，难以满足实时遥操作的需求，且依赖大量人工标注数据。
  2. GeoRT通过设计几何目标函数，在无监督条件下学习人类手部到机器人手部的映射，保证运动保真度、配置空间覆盖率等。
  3. GeoRT在1KHz频率下进行手部关键点重定向，速度和精度达到SOTA，且超参数少，支持灵活的后处理和动作校正。

📝 摘要（中文）

本文介绍了一种超快速且有原则的神经手部重定向算法Geometric Retargeting (GeoRT)，它是Dexterity Gen (DexGen)系统的一部分，专为遥操作而开发。GeoRT以1KHz的频率将人类手指的关键点转换为机器人手部的关键点，在极少超参数的情况下实现了最先进的速度和精度。这种高速能力支持灵活的后处理，例如利用基础控制器进行动作校正，如DexGen。GeoRT以无监督的方式进行训练，无需手动标注手部配对。GeoRT的核心在于新颖的几何目标函数，这些函数捕捉了重定向的本质：保持运动保真度，确保配置空间(C-space)覆盖率，通过高平坦度保持均匀响应，保证捏合对应关系，并防止自碰撞。这种方法无需密集的测试时优化，为实时手部重定向提供了一种更具可扩展性和实用性的解决方案。

🔬 方法详解

问题定义：论文旨在解决实时遥操作中手部重定向的问题。现有方法通常速度较慢，需要大量的超参数调整，并且依赖于大量的手动标注数据，这限制了它们在实际应用中的可扩展性和效率。这些方法难以在保证运动保真度的同时，避免自碰撞和确保配置空间的充分覆盖。

核心思路：GeoRT的核心思路是利用几何约束来指导神经网络的学习过程，从而实现快速、准确且无需人工标注的手部重定向。通过设计一系列几何目标函数，GeoRT能够学习到人类手部动作到机器人手部动作的映射，同时保证运动的自然性和安全性。这种方法避免了复杂的测试时优化，提高了算法的实用性。

技术框架：GeoRT的整体框架包括一个神经网络，该网络接收人类手部关键点作为输入，并输出机器人手部关键点。该网络通过最小化一系列几何目标函数进行训练，这些目标函数包括：运动保真度损失、配置空间覆盖率损失、平坦度损失、捏合对应关系损失和自碰撞避免损失。训练过程是无监督的，不需要人工标注的手部配对数据。训练完成后，该网络可以以极高的速度进行手部重定向。

关键创新：GeoRT的关键创新在于其基于几何约束的无监督学习方法。与传统的监督学习方法相比，GeoRT不需要人工标注数据，降低了数据收集和标注的成本。与传统的优化方法相比，GeoRT避免了复杂的测试时优化，提高了算法的运行速度。此外，GeoRT通过显式地建模几何约束，能够更好地保证运动的自然性和安全性。

关键设计：GeoRT的关键设计包括：1) 几何目标函数的设计，这些函数能够有效地捕捉重定向的本质，例如运动保真度、配置空间覆盖率和自碰撞避免。2) 神经网络结构的选择，该结构需要足够简单，以保证运行速度，同时又需要足够复杂，以捕捉手部动作的复杂性。3) 损失函数的权重设置，这些权重需要根据不同的任务进行调整，以达到最佳的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GeoRT在手部重定向任务中实现了最先进的性能，速度达到1KHz，远超现有方法。在精度方面，GeoRT也达到了SOTA水平，同时显著减少了超参数的数量，降低了算法的复杂性。无监督训练方式避免了人工标注的成本，使得GeoRT更具可扩展性和实用性。

🎯 应用场景

GeoRT在遥操作、虚拟现实、机器人控制等领域具有广泛的应用前景。它可以用于远程控制机器人执行精细操作，例如医疗手术、危险环境下的作业等。在虚拟现实中，GeoRT可以实现更自然、更逼真的手部交互体验。此外，GeoRT还可以用于机器人技能学习，通过模仿人类的手部动作，提高机器人的操作能力。

📄 摘要（原文）

We introduce Geometric Retargeting (GeoRT), an ultrafast, and principled neural hand retargeting algorithm for teleoperation, developed as part of our recent Dexterity Gen (DexGen) system. GeoRT converts human finger keypoints to robot hand keypoints at 1KHz, achieving state-of-the-art speed and accuracy with significantly fewer hyperparameters. This high-speed capability enables flexible postprocessing, such as leveraging a foundational controller for action correction like DexGen. GeoRT is trained in an unsupervised manner, eliminating the need for manual annotation of hand pairs. The core of GeoRT lies in novel geometric objective functions that capture the essence of retargeting: preserving motion fidelity, ensuring configuration space (C-space) coverage, maintaining uniform response through high flatness, pinch correspondence and preventing self-collisions. This approach is free from intensive test-time optimization, offering a more scalable and practical solution for real-time hand retargeting.