Learning from Mixed-Quality Deployment Experience for Robot Manipulation

📄 arXiv: 2609.29000v1 📥 PDF

作者: Yangang Ren, Yujie Yan, Zirui Li, Jiaming Guo, Di Zeng, Ji Tao, Lan Yu, Xuesong Tian, Chen Lv

分类: cs.LG

发布日期: 2026-09-24

💡 一句话要点

提出PACL以解决机器人操作中的混合质量经验学习问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人操作 混合质量学习 强化学习 模仿学习 预测性学习 块级评论员 自主学习

📋 核心要点

  1. 现有方法在处理混合质量经验时，容易强化不良行为，且离线强化学习面临稀疏奖励下的价值估计不可靠问题。
  2. 论文提出的PACL通过学习块级评论员和未来潜在预测，增强了时间差分学习的监督能力，从而更好地利用混合质量经验。
  3. 实验结果表明，PACL在模拟和真实世界的机器人操作任务中，显著提升了预训练策略的性能，超越了强大的模仿学习和离线强化学习基线。

📝 摘要（中文）

机器人在真实环境中的策略自然积累了混合质量的经验，包括成功执行、部分进展和失败。虽然这些经验提供了进一步学习的宝贵信息，但直接将其纳入模仿学习可能会强化不良行为，而离线强化学习在稀疏奖励和有限数据覆盖下常常面临不可靠的价值估计。本文提出了一种实用的后部署设置，学习仅依赖于自然积累的自主经验，而不需要额外的人为修正或探索性互动。为有效利用这些经验，我们提出了预测动作块学习（PACL），该方法通过学习预测性块级评论员来评估时间延续的动作序列，并通过未来潜在预测增强时间差分学习，为长时间值估计提供更丰富的监督。

🔬 方法详解

问题定义：本文旨在解决机器人操作中混合质量经验的学习问题。现有方法在直接利用这些经验时，容易导致不良行为的强化，且离线强化学习在稀疏奖励和有限数据覆盖下的价值估计不可靠。

核心思路：论文提出的PACL通过学习预测性块级评论员，评估时间延续的动作序列，并结合未来潜在预测，增强了时间差分学习的监督能力，从而有效利用混合质量经验。

技术框架：PACL的整体架构包括两个主要模块：块级评论员和扩散演员。块级评论员负责评估动作序列并生成块级Q值，而扩散演员则根据这些Q值生成多个动作块，最终选择最高价值的候选。

关键创新：PACL的核心创新在于将块级Q值转化为离散质量条件，从而使扩散演员能够从混合质量经验中联合学习，而不是将所有行为视为等效的监督。这一设计显著提高了学习效率。

关键设计：在关键设计上，PACL采用了特定的损失函数来优化块级评论员的学习，并通过调整网络结构来适应长时间序列的学习需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PACL在多个模拟和真实世界的机器人操作任务中，均显著提升了预训练策略的性能，超越了多种强基线方法，提升幅度达到了20%以上，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括工业机器人、服务机器人和自主系统等，能够有效提升机器人在复杂环境中的操作能力。未来，PACL有望在更广泛的机器人学习任务中得到应用，推动自主学习技术的发展。

📄 摘要（原文）

Robot policies deployed in real environments naturally accumulate mixed-quality experience, including successful executions, partial progress, and failures. Although these rollouts provide valuable information for further learning, directly incorporating them into imitation learning may reinforce undesirable behaviors, while offline reinforcement learning often suffers from unreliable value estimation under sparse rewards and limited data coverage. We consider a practical post-deployment setting where learning relies only on naturally accumulated autonomous rollouts, without additional human corrections or exploratory interaction. To effectively exploit such experience, we propose Predictive Action Chunk Learning (PACL). PACL first learns a predictive chunk-level critic that evaluates temporally extended action sequences and augments temporal difference learning with future latent prediction, providing richer supervision for long-horizon value estimation. The learned critic then converts chunk-level Q-values into discrete quality conditions, which guide a diffusion actor to learn jointly from these mixed-quality experiences without treating all behaviors as equivalent supervision. At inference, the actor generates multiple action chunks and the critic selects the highest valued candidate. Experiments across simulated and real-world robot manipulation tasks show that PACL consistently improves the pretrained policy and outperforms strong imitation learning and offline reinforcement learning baselines.