Robots Acquire Manipulation Skills in Seconds from a Single Human Video

📄 arXiv: 2607.20033v1 📥 PDF

作者: Guangyan Chen, Meiling Wang, Te Cui, Zichen Zhou, Qi Shao, Shalfun Li, Hang Su, Roy Gan, Hao Wang, Mengyin Fu, Yi Yang, Yufeng Yue

分类: cs.RO

发布日期: 2026-07-22

💡 一句话要点

提出HOST框架以快速从单个视频中获取机器人操作技能

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting)

关键词: 机器人技能获取 一-shot学习 自我基础预测 任务进展估计 动作推导 视频学习 高效学习 技能保留

📋 核心要点

  1. 现有方法在技能获取上依赖繁琐的训练循环，导致成本高、速度慢，并且会削弱已掌握的技能。
  2. 本文提出HOST框架，通过自我基础预测的级联方式，使机器人能够从单个视频中快速获取技能并保留已掌握技能。
  3. HOST在推理时平均用29秒获取新技能，成功率达到62%，显著超越零样本基线，并且在效率上提升了507倍。

📝 摘要（中文）

快速而轻松地获取技能，同时保留已掌握技能的能力对机器人至关重要。然而，现有方法依赖于繁琐的训练循环，成本高且速度慢，且会削弱已掌握的技能。本文提出了HOST（Human-to-robot One-Shot Skill AcquisiTion）框架，使机器人能够在几秒钟内从单个视频中获取技能，同时保留之前掌握的技能。HOST通过自我基础预测的级联解决技能获取问题，首先估计机器人在演示任务中的进展，然后将即将到来的进展转化为机器人的未来观察，最后从这些预测的观察中推导出动作。HOST在推理时平均用29秒从单个视频中获取新技能，成功率达到62%。

🔬 方法详解

问题定义：本文旨在解决机器人技能快速获取的问题，现有方法存在训练时间长、成本高、已掌握技能流失等痛点。

核心思路：HOST框架通过自我基础预测的级联方式，使机器人能够从单个视频中快速学习新技能，同时保留之前掌握的技能。

技术框架：HOST的整体架构包括三个主要模块：任务进展估计、未来观察转化和动作推导。首先，机器人估计在演示任务中的进展，然后将其转化为未来的观察，最后基于这些观察推导出相应的动作。

关键创新：HOST的主要创新在于通过级联的自我基础预测实现了从单个视频中快速获取技能的能力，这与传统方法的训练循环形成鲜明对比。

关键设计：在设计中，HOST通过将机器人轨迹与视频演示映射到共享的任务进展流形上，重新定义每个目标以与视频的未来进展对齐，确保了技能获取的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HOST框架在推理时平均用29秒从单个视频中获取新技能，成功率达到62%，超越零样本基线45%。此外，HOST在技能获取效率上提升了507倍，相较于传统方法显著减少了所需演示次数。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、工业自动化和教育机器人等。通过快速学习新技能，机器人能够更灵活地适应不同的任务需求，提高工作效率，降低人力成本，未来可能在智能家居、医疗辅助等领域发挥重要作用。

📄 摘要（原文）

The ability to acquire skills rapidly and effortlessly while retaining those already mastered is essential for robots. However, current methods still rely on a cumbersome training-time loop that is costly and slow, while eroding skills already mastered. In this paper, we introduce HOST (Human-to-robot One-Shot Skill AcquisiTion), a framework that enables a robot to acquire skills in seconds from a single human video while retaining previously mastered skills. HOST resolves skill acquisition through a cascade of self-grounded prediction. It first estimates the robot's progress within the demonstrated task, then translates the upcoming progression into the robot's own future observations, and finally derives actions from these predicted observations. This cascade is trained on targets coupled to the video demonstration, obtained by mapping the robot trajectory and the video demonstration onto a shared task progress manifold, then redefining each target to align with the future progression of the video. HOST thereby enables the robot to actively follow the demonstrated procedure and adapt it to the robot's embodiment. HOST acquires novel skills at inference time from a single human video in an average of 29 seconds and achieves a 62% average success rate. It exceeds the zero-shot baseline by 45% while retaining previously mastered skills. HOST even exceeds the baseline fine-tuned on 50 robot demonstrations per task while requiring 50 times fewer demonstrations and acquiring each skill 507 times faster. Additional information about HOST is available on the project website.