Learning Generalizable Hand-Object Tracking from Synthetic Demonstrations
作者: Yinhuai Wang, Runyi Yu, Hok Wai Tsui, Xiaoyi Lin, Hui Zhang, Qihan Zhao, Ke Fan, Miao Li, Jie Song, Jingbo Wang, Qifeng Chen, Ping Tan
分类: cs.RO, cs.GR
发布日期: 2025-12-22
💡 一句话要点
提出HOP+HOT框架，仅用合成数据学习通用手-物跟踪控制器
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 手-物跟踪 灵巧操作 强化学习 模仿学习 合成数据 机器人控制 通用控制器
📋 核心要点
- 现有灵巧操作方法依赖大量真实数据，成本高昂且难以泛化到新场景。
- 提出HOP+HOT框架，利用合成数据生成多样化轨迹，并通过强化学习和模仿学习实现从合成到真实的迁移。
- 实验证明该方法能有效跟踪复杂的手-物交互序列，包括物体重排列和掌内重定向等任务。
📝 摘要（中文）
本文提出了一种系统，用于仅从合成数据中学习可泛化的手-物跟踪控制器，无需任何人工演示。该方法主要有两个贡献：(1) HOP (Hand-Object Planner)，一个手-物规划器，可以合成多样化的手-物轨迹；(2) HOT (Hand-Object Tracker)，一个手-物跟踪器，通过强化学习和交互模仿学习弥合了合成到物理的迁移，从而提供了一个以目标手-物状态为条件的通用控制器。该方法可以扩展到不同的物体形状和手部形态。通过大量的评估，我们表明该方法能够使灵巧的手跟踪具有挑战性的、长期的序列，包括物体重新排列和灵巧的掌内重定向。这些结果代表了迈向可扩展的操纵基础控制器的重要一步，这些控制器可以完全从合成数据中学习，打破了长期以来限制灵巧操纵进展的数据瓶颈。
🔬 方法详解
问题定义：现有灵巧操作方法严重依赖于大量真实世界的数据，这限制了其可扩展性和泛化能力。收集和标注真实数据成本高昂，并且难以覆盖所有可能的场景和物体。因此，如何仅使用合成数据训练出能够泛化到真实世界的灵巧操作控制器是一个关键问题。
核心思路：本文的核心思路是利用合成数据生成多样化的手-物交互轨迹，并使用强化学习和交互模仿学习将这些轨迹迁移到真实世界。通过合成数据，可以避免真实数据收集的成本，并且可以控制数据的分布，从而提高模型的泛化能力。强化学习和交互模仿学习则用于弥合合成数据和真实数据之间的差距，使模型能够在真实世界中稳定运行。
技术框架：该方法包含两个主要模块：HOP (Hand-Object Planner) 和 HOT (Hand-Object Tracker)。HOP负责生成多样化的手-物交互轨迹，HOT负责跟踪这些轨迹并控制机械手。HOP首先根据给定的物体形状和目标状态，规划出手部的运动轨迹。然后，HOT使用强化学习和交互模仿学习，学习如何控制机械手跟踪这些轨迹。整个框架采用端到端的方式进行训练。
关键创新：该方法最重要的创新点在于提出了一种完全基于合成数据的灵巧操作学习框架。通过HOP和HOT两个模块的协同工作，可以有效地生成多样化的训练数据，并实现从合成到真实的迁移。此外，该方法还采用了交互模仿学习，可以更好地利用合成数据中的信息，提高模型的学习效率。
关键设计：HOP使用逆运动学方法生成手部运动轨迹，并采用随机扰动来增加轨迹的多样性。HOT使用深度神经网络作为控制器，输入为当前的手-物状态和目标状态，输出为机械手的控制指令。强化学习的目标是最大化机械手成功跟踪轨迹的概率，交互模仿学习的目标是最小化机械手控制指令与合成数据中控制指令之间的差异。损失函数由强化学习损失和交互模仿学习损失加权组成。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法能够在多种物体形状和手部形态下实现稳定的手-物跟踪。在物体重排列和掌内重定向等复杂任务中，该方法也表现出良好的性能。与现有方法相比，该方法无需任何人工演示，并且能够更好地泛化到新的场景。
🎯 应用场景
该研究成果可应用于机器人自动化、智能制造、医疗康复等领域。例如，在智能制造中，机器人可以利用该技术实现对复杂物体的灵巧操作，提高生产效率和质量。在医疗康复领域，可以帮助患者进行手部康复训练，提高生活质量。该技术有望推动机器人操作的智能化和自动化水平。
📄 摘要（原文）
We present a system for learning generalizable hand-object tracking controllers purely from synthetic data, without requiring any human demonstrations. Our approach makes two key contributions: (1) HOP, a Hand-Object Planner, which can synthesize diverse hand-object trajectories; and (2) HOT, a Hand-Object Tracker that bridges synthetic-to-physical transfer through reinforcement learning and interaction imitation learning, delivering a generalizable controller conditioned on target hand-object states. Our method extends to diverse object shapes and hand morphologies. Through extensive evaluations, we show that our approach enables dexterous hands to track challenging, long-horizon sequences including object re-arrangement and agile in-hand reorientation. These results represent a significant step toward scalable foundation controllers for manipulation that can learn entirely from synthetic data, breaking the data bottleneck that has long constrained progress in dexterous manipulation.