From Pretraining to Proficiency: Real-World Subtask RL for Long-Horizon Manipulation with Minimal Human Intervention

📄 arXiv: 2609.21788v1 📥 PDF

作者: Sichang Su, Benjamin Yang, Zhiyun Deng, Boyuan Liang, Yip Fun Yeung, Zelin Wang, Lingfeng Sun

分类: cs.RO, cs.LG

发布日期: 2026-09-18

备注: Project page: https://destiny000621.github.io/PARTS/

💡 一句话要点

提出PARTS框架以解决长时间操作中的子任务强化学习问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 机器人操作 长时间任务 预训练策略 子任务学习 自主性提升

📋 核心要点

  1. 现有方法在长时间任务中难以处理关键子任务，导致整体成功率低。
  2. PARTS框架通过强化学习集中训练瓶颈子任务，减少人类干预，提升学习效率。
  3. 在双手YAM和单臂Franka任务中，PARTS分别将成功率提升至61%和95%，显著提高了任务完成率。

📝 摘要（中文）

预训练的机器人基础策略能够执行大部分长时间任务，但在一些关键子任务上反复失败。收集额外的全任务演示进行监督微调需要操作员重复已经表现良好的行为。强化学习微调提供了一条有前景的解决路径，但现有方法在仅依赖稀疏奖励时难以解决长时间任务。本文提出PARTS（针对目标子任务的强化学习策略适应），该框架专注于这些瓶颈的实践，同时允许训练过程在最小人类干预下进行。冻结的预训练策略在执行过程中提供名义动作，而代理生成的选择器和成功验证器激活残余修正并提供局部结果奖励。这些奖励支持在完整任务成功稀缺的情况下从成功子任务中学习。实验表明，PARTS在双手YAM和单臂Franka任务上将完整任务成功率分别提高至61%和95%。

🔬 方法详解

问题定义：本文旨在解决预训练机器人策略在执行长时间任务时，因关键子任务失败而导致整体任务成功率低的问题。现有方法依赖于稀疏奖励，难以有效解决这一挑战。

核心思路：PARTS框架通过强化学习专注于关键子任务的训练，允许机器人在执行过程中保持预训练策略的稳定性，同时通过代理生成的选择器和验证器进行动态调整。

技术框架：PARTS的整体架构包括预训练策略、代理生成的选择器、成功验证器和在线强化学习模块。训练过程中，预训练策略提供基础动作，选择器和验证器则在关键时刻进行干预。

关键创新：PARTS的主要创新在于通过强化学习在关键子任务上进行集中训练，显著提高了长时间任务的成功率。这种方法与传统的全任务微调方法相比，减少了对完整任务演示的依赖。

关键设计：在设计中，采用了成功重加权的再训练策略，确保每个重新训练的残余策略能够有效收集更多经验。此外，关键参数设置和损失函数设计也经过优化，以适应长时间任务的特点。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，PARTS在双手YAM任务中将完整任务成功率从32%提升至61%，在单臂Franka任务中从50%提升至95%。与现有方法相比，PARTS在相同的机器人演示预算下成功率提升超过25%。

🎯 应用场景

该研究的潜在应用领域包括工业自动化、服务机器人和医疗机器人等长时间操作场景。通过减少人类干预，PARTS框架能够提高机器人在复杂环境中的自主性和效率，具有重要的实际价值和广泛的未来影响。

📄 摘要（原文）

A pretrained robot foundation policy may execute most of a long-horizon task yet repeatedly fail at a few critical subtasks. Collecting additional full-task demonstrations for supervised fine-tuning (SFT) requires operators to repeat behaviors the policy already performs well. Reinforcement learning (RL) fine-tuning offers a promising path to bridge this gap, but existing approaches struggle to solve long-horizon tasks using only sparse rewards. We present PARTS (Policy Adaptation with RL on Targeted Subtasks), a real-world subtask RL framework that concentrates practice at these bottlenecks while allowing training rollouts to proceed with minimal human intervention. The frozen pretrained policy supplies nominal actions throughout execution, while agent-generated selectors and success verifiers activate residual corrections and provide local outcome rewards. These rewards support learning from successful subtasks even when complete-task successes are scarce. Training combines online RL with success-reweighted retraining, and each retrained residual policy is redeployed to collect further experience. Humans identify bottlenecks during setup and perform physical resets when needed. On bimanual YAM and single-arm Franka tasks, PARTS improves complete-task success from 32% to 61% and from 50% to 95%, respectively, using tens of minutes of real-world RL rollouts per task on average. Compared with existing real-world RL fine-tuning methods, PARTS raises full-task success by more than 25% under the same robot-rollout budget while requiring less human involvement.