Bridging the Human to Robot Dexterity Gap through Object-Oriented Rewards
作者: Irmak Guzey, Yinlong Dai, Georgy Savva, Raunaq Bhirangi, Lerrel Pinto
分类: cs.RO, cs.LG
发布日期: 2024-10-30
💡 一句话要点
提出HuDOR，通过面向对象的奖励函数弥合人手与机器人灵巧操作的差距
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)
关键词: 机器人学习 模仿学习 强化学习 灵巧操作 对象导向 奖励函数 策略迁移
📋 核心要点
- 现有方法难以将人手操作策略直接迁移到多指机器人手，主要挑战在于人手与机器人手的形态差异。
- HuDOR利用从人类视频中提取的面向对象轨迹，构建奖励函数，从而弥合人手与机器人手之间的形态和视觉差异。
- 实验表明，HuDOR仅需少量在线交互即可使四指机器人手学习复杂任务，性能比基线方法提升4倍。
📝 摘要（中文）
直接从人类视频中训练机器人是机器人和计算机视觉领域新兴的研究方向。虽然双指夹爪已经取得了显著进展，但以这种方式学习多指机器人手的自主任务仍然具有挑战性。一个关键原因是，由于形态差异，在人手上训练的策略可能无法直接转移到机器人手上。本文提出HuDOR，一种通过直接从人类视频中计算奖励来在线微调策略的技术。重要的是，该奖励函数是使用从现成的点跟踪器导出的面向对象的轨迹构建的，即使在人手和机器人手之间的形态差距和视觉差异下，也能提供有意义的学习信号。给定一个人类解决任务的视频，例如轻轻打开一个音乐盒，HuDOR使我们的四指Allegro手只需一个小时的在线交互就能学习该任务。在四个任务上的实验表明，HuDOR比基线方法提高了4倍。
🔬 方法详解
问题定义：论文旨在解决多指机器人手学习人类演示的灵巧操作任务时，由于人手和机器人手形态差异导致的策略迁移困难问题。现有方法难以直接将人手操作策略迁移到机器人手上，导致训练效率低下甚至失败。
核心思路：论文的核心思路是利用面向对象的奖励函数，该函数基于从人类视频中提取的对象轨迹信息，而非直接模仿人手的动作。通过关注对象之间的关系和状态变化，可以有效减少形态差异带来的影响，从而实现更有效的策略迁移。
技术框架：HuDOR的整体框架包括以下几个主要阶段：1) 从人类演示视频中提取对象轨迹，使用现成的点跟踪器实现；2) 基于对象轨迹构建面向对象的奖励函数，奖励函数的设计鼓励机器人完成与人类演示相似的对象交互；3) 使用强化学习算法（例如PPO）在线微调机器人策略，以最大化面向对象的奖励函数。
关键创新：HuDOR的关键创新在于其面向对象的奖励函数，该函数不依赖于人手和机器人手的直接对应关系，而是关注对象层面的交互。这种方法能够有效应对形态差异带来的挑战，并提供更具泛化性的学习信号。此外，HuDOR实现了仅需少量在线交互即可完成复杂任务的学习，大大提高了训练效率。
关键设计：奖励函数的设计至关重要，通常包括以下几个方面：1) 对象位置和姿态的匹配程度；2) 对象之间关系的相似性；3) 任务目标的达成情况。具体的奖励函数形式可以根据任务的特点进行调整。此外，强化学习算法的选择和参数调整也会影响最终的学习效果。论文中使用了PPO算法，并针对具体任务进行了参数优化。
🖼️ 关键图片
📊 实验亮点
HuDOR在四个不同的任务上进行了实验，包括打开音乐盒、堆叠积木等。实验结果表明，HuDOR能够使四指Allegro手仅用一个小时的在线交互就学会这些任务，并且性能比基线方法提高了4倍。这表明HuDOR能够有效弥合人手与机器人手之间的差距，并实现高效的策略迁移。
🎯 应用场景
该研究成果可应用于各种需要灵巧操作的机器人任务，例如：家庭服务机器人、工业装配机器人、医疗手术机器人等。通过学习人类演示，机器人可以快速掌握复杂的操作技能，从而提高工作效率和安全性。未来，该技术有望实现更高级别的自主操作，使机器人能够更好地适应复杂多变的环境。
📄 摘要（原文）
Training robots directly from human videos is an emerging area in robotics and computer vision. While there has been notable progress with two-fingered grippers, learning autonomous tasks for multi-fingered robot hands in this way remains challenging. A key reason for this difficulty is that a policy trained on human hands may not directly transfer to a robot hand due to morphology differences. In this work, we present HuDOR, a technique that enables online fine-tuning of policies by directly computing rewards from human videos. Importantly, this reward function is built using object-oriented trajectories derived from off-the-shelf point trackers, providing meaningful learning signals despite the morphology gap and visual differences between human and robot hands. Given a single video of a human solving a task, such as gently opening a music box, HuDOR enables our four-fingered Allegro hand to learn the task with just an hour of online interaction. Our experiments across four tasks show that HuDOR achieves a 4x improvement over baselines. Code and videos are available on our website, https://object-rewards.github.io.