HRT1: One-Shot Human-to-Robot Trajectory Transfer for Mobile Manipulation
作者: Sai Haneesh Allu, Jishnu Jaykumar P, Ninad Khargonkar, Tyler Summers, Jian Yao, Yu Xiang
分类: cs.RO
发布日期: 2025-10-23
备注: 14 pages, 11 figures and 3 tables. Project page is available at \url{https://irvlutd.github.io/HRT1/}
💡 一句话要点
HRT1：用于移动操作的单样本人-机器人轨迹迁移系统
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting)
关键词: 人-机器人交互 轨迹迁移 移动操作 单样本学习 视频理解 轨迹优化 机器人学习
📋 核心要点
- 现有机器人操作方法在泛化性和适应性方面存在挑战，难以快速适应新环境和物体摆放。
- 该论文提出HRT1系统，通过单次人类演示视频学习，实现人到机器人的轨迹迁移，使机器人能够复现操作任务。
- 实验表明，该系统能够使移动操作机器人在不同环境中重复执行任务，验证了其有效性和泛化能力。
📝 摘要（中文）
本文介绍了一种新颖的人-机器人轨迹迁移系统，该系统使机器人能够通过学习人类演示视频来操作物体。该系统包含四个模块。第一个模块是数据收集模块，旨在利用AR头显从机器人的视角收集人类演示视频。第二个模块是视频理解模块，用于检测物体并从演示视频中提取3D人手轨迹。第三个模块将人手轨迹转换为机器人末端执行器在3D空间中的参考轨迹。最后一个模块利用轨迹优化算法来求解机器人构型空间中的轨迹，该轨迹可以跟随从人类演示中迁移的末端执行器轨迹。因此，这些模块使机器人能够观看一次人类演示视频，然后在不同的环境中重复相同的移动操作任务，即使物体的放置与演示不同。
🔬 方法详解
问题定义：现有机器人操作方法通常需要大量的训练数据或复杂的编程，难以快速适应新的环境和物体摆放。如何让机器人能够像人类一样，通过观察一次演示就能学会新的操作任务，是一个重要的挑战。
核心思路：该论文的核心思路是将人类的演示轨迹迁移到机器人上，通过视频理解提取人手轨迹，并将其转换为机器人末端执行器的参考轨迹。然后，利用轨迹优化算法，生成机器人可执行的轨迹。这种方法避免了从零开始训练机器人，提高了学习效率和泛化能力。
技术框架：HRT1系统包含四个主要模块：1) 数据收集模块：使用AR头显从机器人视角收集人类演示视频。2) 视频理解模块：检测视频中的物体，并提取3D人手轨迹。3) 轨迹迁移模块：将人手轨迹转换为机器人末端执行器的参考轨迹。4) 轨迹优化模块：在机器人构型空间中求解轨迹，使其能够跟随末端执行器的参考轨迹。
关键创新：该论文的关键创新在于提出了一种端到端的轨迹迁移系统，能够从单次人类演示视频中学习，并将学习到的轨迹迁移到机器人上。这种方法避免了手动设计机器人轨迹的复杂性，并提高了机器人的适应性和泛化能力。
关键设计：轨迹迁移模块需要考虑人手和机器人末端执行器之间的差异，例如尺寸、形状和运动范围。轨迹优化模块需要考虑机器人的运动学和动力学约束，以生成可执行的轨迹。具体的参数设置、损失函数和网络结构等技术细节在论文中进行了详细描述（具体细节未知）。
📊 实验亮点
该系统通过单次人类演示视频，成功实现了机器人对移动操作任务的复现。实验结果表明，即使在物体摆放位置与演示视频不同的情况下，机器人也能有效地完成任务，验证了系统的泛化能力和鲁棒性。具体的性能数据和对比基线在论文中进行了详细描述（具体数据未知）。
🎯 应用场景
该研究成果可应用于各种移动操作任务，例如家庭服务机器人、工业自动化和医疗辅助机器人。通过学习人类演示，机器人可以快速适应新的任务和环境，提高工作效率和安全性。未来，该技术有望实现更复杂的操作任务，并促进人机协作的发展。
📄 摘要（原文）
We introduce a novel system for human-to-robot trajectory transfer that enables robots to manipulate objects by learning from human demonstration videos. The system consists of four modules. The first module is a data collection module that is designed to collect human demonstration videos from the point of view of a robot using an AR headset. The second module is a video understanding module that detects objects and extracts 3D human-hand trajectories from demonstration videos. The third module transfers a human-hand trajectory into a reference trajectory of a robot end-effector in 3D space. The last module utilizes a trajectory optimization algorithm to solve a trajectory in the robot configuration space that can follow the end-effector trajectory transferred from the human demonstration. Consequently, these modules enable a robot to watch a human demonstration video once and then repeat the same mobile manipulation task in different environments, even when objects are placed differently from the demonstrations. Experiments of different manipulation tasks are conducted on a mobile manipulator to verify the effectiveness of our system