HAND Me the Data: Fast Robot Adaptation via Hand Path Retrieval

📄 arXiv: 2505.20455v4 📥 PDF

作者: Matthew Hong, Anthony Liang, Kevin Kim, Harshitha Rajaprakash, Jesse Thomason, Erdem Bıyık, Jesse Zhang

分类: cs.RO

发布日期: 2025-05-26 (更新: 2025-10-27)

💡 一句话要点

HAND：通过手部轨迹检索实现机器人快速适应新任务

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人学习 模仿学习 轨迹检索 手部演示 快速适应

📋 核心要点

  1. 现有机器人学习方法依赖于任务特定的机器人演示，收集成本高且耗时，限制了机器人快速适应新任务的能力。
  2. HAND方法利用易于获取的人手演示，通过视觉相似性和行为相似性检索机器人预训练的通用行为数据，实现快速迁移学习。
  3. 实验表明，HAND方法在真实机器人上，学习新任务的时间少于四分钟，且任务成功率比现有检索方法高出2倍以上。

📝 摘要（中文）

我们向社区贡献了HAND，这是一种简单且省时的方法，通过人类手部演示来教机器人新的操作任务。HAND不依赖于通过遥操作收集的特定于任务的机器人演示，而是使用易于提供的手部演示，从与任务无关的机器人行为数据中检索相关行为。利用视觉跟踪流程，HAND从手部演示中提取人类手部的运动，并通过两个阶段检索机器人子轨迹：首先按视觉相似性进行过滤，然后检索与手部具有相似行为的轨迹。在检索到的数据上微调策略，可以在不到四分钟的时间内实现任务的实时学习，而无需校准的摄像头或详细的手部姿势估计。实验还表明，在真实机器人上，HAND的平均任务成功率比检索基线高出2倍以上。项目网站提供视频：https://liralab.usc.edu/handretrieval/。

🔬 方法详解

问题定义：现有机器人学习方法，特别是模仿学习，通常需要针对特定任务进行机器人演示数据的收集。这种数据收集过程耗时且成本高昂，尤其是在复杂操作任务中。此外，遥操作等方法需要专业人员操作，进一步增加了成本。因此，如何利用更简单、更高效的方式让机器人快速适应新任务是一个关键问题。

核心思路：HAND的核心思路是利用人类手部演示作为桥梁，连接任务需求和机器人已有的通用行为数据。通过手部演示，HAND可以推断出任务的目标和约束，并从机器人大量的、与任务无关的“play data”中检索出相关的子轨迹。这种方法避免了为每个新任务重新收集机器人演示数据，从而大大提高了学习效率。

技术框架：HAND方法主要包含以下几个阶段：1) 手部演示数据采集：用户提供手部操作的演示视频。2) 手部运动轨迹提取：利用视觉跟踪算法从视频中提取手部运动轨迹。3) 轨迹检索：首先，基于视觉相似性对机器人“play data”进行初步过滤，缩小搜索范围；然后，基于行为相似性，利用动态时间规整（DTW）等方法，从过滤后的数据中检索出与手部轨迹最相似的机器人子轨迹。4) 策略微调：利用检索到的机器人子轨迹数据，对预训练的机器人策略进行微调，使其能够执行新的任务。

关键创新：HAND的关键创新在于利用手部演示作为机器人学习的指导信号，并结合轨迹检索技术，实现了从通用机器人数据到特定任务的快速迁移。与传统的模仿学习方法相比，HAND无需为每个新任务收集机器人演示数据，大大降低了数据收集成本。此外，HAND方法不需要精确的手部姿态估计或校准的摄像头，使其更易于部署和使用。

关键设计：HAND方法中，视觉相似性过滤可以使用简单的图像特征匹配方法，例如SIFT或HOG。行为相似性检索可以使用动态时间规整（DTW）等序列比对算法。策略微调可以使用各种强化学习或模仿学习算法，例如Behavior Cloning或Dagger。具体参数设置需要根据任务和数据集进行调整。例如，DTW的窗口大小、策略微调的学习率等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HAND在真实机器人上的实验结果表明，该方法可以在不到4分钟的时间内学习新的操作任务，平均任务成功率比检索基线高出2倍以上。这些结果验证了HAND方法的有效性和高效性，表明其在机器人快速适应新任务方面具有显著优势。

🎯 应用场景

HAND方法具有广泛的应用前景，例如在智能制造、家庭服务、医疗康复等领域。它可以帮助机器人快速适应新的装配任务、家务任务或康复训练任务。通过降低机器人学习的成本和时间，HAND有望加速机器人在各个领域的普及和应用，提高生产效率和服务质量。

📄 摘要（原文）

We hand the community HAND, a simple and time-efficient method for teaching robots new manipulation tasks through human hand demonstrations. Instead of relying on task-specific robot demonstrations collected via teleoperation, HAND uses easy-to-provide hand demonstrations to retrieve relevant behaviors from task-agnostic robot play data. Using a visual tracking pipeline, HAND extracts the motion of the human hand from the hand demonstration and retrieves robot sub-trajectories in two stages: first filtering by visual similarity, then retrieving trajectories with similar behaviors to the hand. Fine-tuning a policy on the retrieved data enables real-time learning of tasks in under four minutes, without requiring calibrated cameras or detailed hand pose estimation. Experiments also show that HAND outperforms retrieval baselines by over 2x in average task success rates on real robots. Videos can be found at our project website: https://liralab.usc.edu/handretrieval/.