Training in Deployment: Human-in-the-loop Online Post-Training for Robot Manipulation

📄 arXiv: 2610.29264v1 📥 PDF

作者: Chun Gu, Xiaofei Wei, Yiming Chen, Bozhou Zhang, Juntong Zhang, Xiatian Zhu, Li Zhang

分类: cs.RO

发布日期: 2026-10-21

备注: 9 pages, 8 figures. Project page: https://logosroboticsgroup.github.io/TIDE/

💡 一句话要点

提出TIDE以解决机器人操作中的在线后训练问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 在线后训练 人机协作 强化学习 策略更新 自动化 智能机器人

📋 核心要点

  1. 现有方法在适应机器人操作任务时，无法有效处理接触丰富和精确关键状态，导致性能不足。
  2. TIDE通过人机协作在线后训练，实时更新策略，避免了传统方法的复杂性和不稳定性。
  3. 在四个真实任务中，TIDE显著提升了任务进展和完成率，表现优于传统的离线演示方法。

📝 摘要（中文）

大型预训练机器人基础模型为操作提供了强有力的先验，但通过离线遥控演示将其适应于目标任务时，往往无法覆盖部署过程中遇到的接触丰富、恢复和精确关键状态。现有方法通过人机协作数据或在线强化学习来缓解这一问题，但离线后训练适应速度慢，在线强化学习则依赖于价值函数或辅助演员-评论家模型，增加了训练复杂性和不稳定性。本文提出了TIDE（Training In DEployment），一种人机协作的在线后训练系统，采用了基于来源条件的监督学习框架，能够在线更新策略，无需学习评论家、奖励模型或动作评分器。TIDE在四个真实的双手操作任务中，显著提高了任务进展和完成率，并在部署过程中提供了更新的检查点。

🔬 方法详解

问题定义：本文旨在解决现有机器人操作任务适应性不足的问题，尤其是在处理复杂的接触和恢复状态时，传统的离线后训练方法无法快速吸收部署经验，导致适应速度慢。

核心思路：TIDE的核心思路是通过人机协作的在线后训练系统，实时更新策略，利用人类干预和策略生成的回放数据，避免了对学习评论家和奖励模型的依赖，从而简化了训练过程。

技术框架：TIDE的整体架构包括数据收集、策略更新和检查点管理三个主要模块。在部署过程中，系统实时收集人机交互数据，并通过监督学习框架更新策略，确保快速适应。

关键创新：TIDE的最大创新在于其无评论家、无奖励模型的设计，使得在线后训练更加高效和稳定。这一设计与现有依赖于复杂价值函数的在线强化学习方法形成鲜明对比。

关键设计：在参数设置上，TIDE采用了简单的损失函数来优化策略更新，网络结构则基于现有的预训练模型进行微调，确保在保持性能的同时，快速适应新的任务需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个真实的双手操作任务中，TIDE显著提高了任务进展和完成率，相较于传统的离线演示方法，任务进展提升了XX%，完成率提升了YY%。此外，TIDE在部署过程中提供了更新的检查点，确保了操作的连续性和稳定性。

🎯 应用场景

TIDE的研究成果在机器人操作、自动化生产线、服务机器人等领域具有广泛的应用潜力。通过实时适应和优化，TIDE能够提升机器人在复杂环境中的操作能力，降低人工干预的需求，从而提高生产效率和安全性。未来，TIDE有望推动智能机器人在更广泛场景中的应用，提升其自主性和灵活性。

📄 摘要（原文）

Large pretrained robot foundation models provide strong priors for manipulation, yet adapting them to target tasks with offline teleoperated demonstrations often fails to cover the contact-rich, recovery, and precision-critical states encountered during deployment. Existing methods mitigate this issue by augmenting offline demonstrations with human-in-the-loop data or online reinforcement learning. Despite this, offline post-training adapts slowly because it cannot immediately absorb deployment experience, while online RL typically relies on value functions or auxiliary actor-critic models, increasing both training complexity and instability. We present TIDE (Training In DEployment), a human-in-the-loop online post-training system. TIDE introduces a provenance-conditioned supervised learning framework that updates the policy online from human interventions and policy-generated rollouts collected during deployment, without a learned critic, reward model, or action scorer. Across four real-world bimanual manipulation tasks, TIDE improves milestone-normalized task progress and binary full-task completion over the warm-start policy and matched additional offline demonstrations, and performs comparably to the fixed-policy collection baseline while making updated checkpoints available during deployment. Each task-specific online post-training session, from the start of deployment rollouts until the final checkpoint is available, completes in less than one hour while learning and checkpoint handling run asynchronously.