Steertuning Policies from a Few Human Videos
作者: Billy Yan, Isaac Tu, Kelly Lee, Blake Chang, Kenny Ma, Kanad Patel, Dhawal Kabra, Neer Patel, Kevin Wu, Lerrel Pinto, Irmak Guzey
分类: cs.RO, cs.AI
发布日期: 2026-10-13
💡 一句话要点
提出Steertuning以解决机器人学习任务适应性不足的问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting)
关键词: 机器人学习 任务适应性 少量示范 快速微调 扩散策略 自我中心数据集 高效学习
📋 核心要点
- 现有的机器人学习方法通常需要大量的示范数据，导致学习效率低下，适应性差。
- Steertuning通过预训练和微调相结合的方式，使机器人能够快速适应新任务，仅需5个示范和2分钟的微调。
- 实验结果表明，Steertuning在12个新环境中的任务成功率达到71%，显著提升了机器人学习的效率和灵活性。
📝 摘要（中文）
当前的机器人学习方法需要大量的机器人示范才能获得稳健且适应性强的策略。本文提出Steertuning系统，使机器人能够在新环境中仅通过5个人工示范学习新任务，且时间不超过5分钟。Steertuning包括两个部分：首先，在一个包含100小时密集注释的自我中心人类数据集上预训练一个400M参数的扩散策略，以增强其对背景差异的鲁棒性和在新任务中的空间与物体泛化能力；其次，针对新任务的5个示范，仅需2分钟的微调（2000次训练更新），并在反向采样时使用与部署环境观察最接近的示范来引导策略的动作。该方法在12个新环境中的12个任务上实现了71%的成功率。
🔬 方法详解
问题定义：本论文旨在解决机器人学习任务时对大量示范数据的依赖问题。现有方法在新环境中适应性差，学习效率低下。
核心思路：Steertuning通过预训练一个大型扩散策略模型，并结合少量示范进行快速微调，旨在提高机器人在新任务中的学习效率和适应性。
技术框架：Steertuning系统分为两个主要模块：首先是基于自我中心人类数据集的预训练阶段，其次是针对新任务的微调阶段。整个流程从数据收集到策略部署不超过5分钟。
关键创新：最重要的创新在于通过少量示范和快速微调实现高效学习，尤其是在多样化的新环境中，显著提高了成功率。与传统方法相比，Steertuning能够在更短时间内实现更高的任务适应性。
关键设计：模型采用400M参数的扩散策略，预训练阶段使用100小时的密集注释数据。微调阶段仅需2000次训练更新，且在反向采样时选择与当前环境最接近的示范进行引导。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Steertuning在12个新环境中的12个任务上成功率达到71%。与传统方法相比，该系统在学习新任务时显著减少了所需的示范数量和训练时间，展示了其在机器人学习领域的高效性和灵活性。
🎯 应用场景
该研究的潜在应用领域包括家庭服务机器人、工业自动化和人机协作等场景。通过快速学习新任务，机器人能够在动态环境中更好地适应用户需求，提升工作效率和用户体验。未来，Steertuning有望推动机器人技术在更广泛领域的应用，促进智能自动化的发展。
📄 摘要（原文）
Current recipes for robot learning require massive amounts of robot demonstrations to obtain robust and adaptive policies. In this work, we introduce Steertuning, a system that enables robots to learn new tasks in new environments from 5 human demonstrations in under 5 Steertuning consists of two parts. (1) We pretrain a 400M-parameter diffusion policy on our egocentric human dataset, which consists of 100 hours of densely annotated random interactions. This pretraining makes Steertuning robust to background differences and enables spatial and object generalization when deployed on new tasks. (2) Given 5 demonstrations of a new task, we finetune our model for only 2 minutes (2000 training updates) and steer the policy's actions during reverse sampling using the demonstration whose observation is closest to that of the deployment environment. Together with a carefully designed data processing pipeline for embodiment transfer, this enables Steertuning to achieve a 71% success rate across 12 tasks in 12 new environments, ranging from lab settings to kitchens in new homes. The entire process, from data collection for a new task to robot policy deployment, takes less than 5 minutes. Our full dataset, model weights, codebase, and robot videos will be made available at our website: https://steertuning.github.io.