Retiming Robot Demonstrations with a Learned Speed Prior
作者: Seungyong Moon, Deokjae Lee, Hansang Lee, Munkhtselmeg Battsengel, Youngin Kim, Seonghyeon Yun, Sungjin Jeon, SongEun Kim, Jeongmin Park, Hyun Oh Song
分类: cs.AI, cs.RO
发布日期: 2026-10-23
💡 一句话要点
提出学习速度先验以解决机器人演示时序不一致问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人演示 速度先验 策略微调 人机协作 自动化
📋 核心要点
- 现有方法在机器人演示中，速度由操作员决定，导致同一动作在不同演示中速度不一致，影响策略训练效果。
- 本文提出从大规模演示数据中学习速度先验，利用任务指令和运动路径预测执行速度分布，从而实现一致的演示时序。
- 在120个RoboLab任务中，基于学习的时钟微调的策略成功率更高，且在实际机器人上，执行速度比默认策略快1.72倍。
📝 摘要（中文）
机器人演示的速度通常由遥控操作员决定，而非任务本身。这导致相同的动作在不同演示中速度差异较大，训练出的策略可能继承操作员特定的时序。本文提出直接从大规模演示数据中学习速度先验。给定任务指令、运动路径及其图像，预测沿路径执行速度的分布，从中选择一个分位数定义一致的时钟以重新定时每个演示。与现有方法不同，本文的速度先验覆盖整个任务库，避免了每个新任务都需重新拟合或标注的问题。通过在机器人遥操作数据和人手演示中拟合速度先验，成功将机器人演示调整至人手速度，并在120个RoboLab任务中，基于学习的时钟微调的策略成功率更高，且运动的抖动减少了一半。
🔬 方法详解
问题定义：本文旨在解决机器人演示中速度不一致的问题，现有方法依赖操作员的速度，导致训练策略时继承了操作员特定的时序，影响了任务的通用性和效果。
核心思路：通过从大规模演示数据中学习速度先验，结合任务指令和运动路径，预测执行速度的分布，从而为每个演示提供一致的时钟，避免了每个新任务都需重新拟合的问题。
技术框架：整体流程包括数据收集、速度先验学习、演示重定时和策略微调。首先收集机器人遥操作和人手演示数据，然后利用这些数据学习速度先验，最后将其应用于重定时和策略优化。
关键创新：本文的主要创新在于提出了一种单一的速度先验模型，能够覆盖整个任务库，避免了现有方法中每个新任务都需重新拟合的缺陷。
关键设计：在速度先验的学习中，采用了特定的损失函数来优化速度预测的准确性，并设计了适应于不同任务的网络结构，以确保模型的泛化能力。具体的参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基于学习的时钟微调的策略在120个RoboLab任务中成功率显著提高，且在实际机器人上，堆杯子的时间为3.50秒，比默认策略快1.72倍，成功率在30次试验中达到了29次。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在机器人操作、自动化生产和人机协作等领域。通过实现一致的演示时序，能够提高机器人在复杂任务中的表现，减少操作员的干预，提升工作效率。未来，该方法还可以扩展到更多类型的机器人和任务场景中，推动智能机器人技术的发展。
📄 摘要（原文）
The pace of a robot demonstration is often determined by the teleoperator rather than by the task itself. As a result, the same motion can appear at widely different speeds across demonstrations, and policies trained on such data may inherit operator-specific timing along with task behavior. We propose to learn a speed prior directly from large-scale demonstration data. Given a task instruction, a motion path and the images along it, it predicts a distribution over execution speed along the path, from which a chosen quantile defines a consistent clock for retiming each demonstration. Existing methods derive the acceleration signal from the very data they accelerate, so each new task costs another fit, annotation, or pair of predefined rates. A single trained speed prior instead covers every task in a corpus. We fit a speed prior on both robot teleoperation data and handheld demonstrations in which a human arm, rather than a robot arm, moves the gripper, and use it to retime robot demonstrations to the handheld pace before fine-tuning a vision-language-action policy. For execution, we pair the policy with a real-time optimal-control layer that tracks predicted action chunks under robot constraints using the predicted pace. On 120 RoboLab tasks, policies fine-tuned on our learned clocks succeed more often and move with up to half the jerk compared with policies fine-tuned on the original demonstration timing and uniformly accelerated to the same speed. On a real robot, our policy stacks cups in 3.50s, 1.72$\times$ faster than the default policy's 6.02s while succeeding as often, in 29 of 30 trials. Videos and further material are available at https://mllab.snu.ac.kr/projects/learned_speed_prior.