Graph-Reweighted Behavior Cloning with Human Interventions for Precise Robotic Manipulation
作者: Xiaoman Li, Zhiqiang Yang, Jiayu Hu, Jipeng Kong, Yang Zhang, Jingwei Zhang, Fangzheng Yan, Chunhua Shen, Chenjia Bai
分类: cs.RO
发布日期: 2026-10-14
备注: Accepted at CoRL 2026. 25 pages, 16 figures, including appendix. Project page: https://gr-bc.github.io/
💡 一句话要点
提出图重加权行为克隆以解决精确机器人操控中的数据质量问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图重加权 行为克隆 机器人操控 人类干预 任务可达性 精确操控 数据优化
📋 核心要点
- 现有的机器人操控方法在长时间任务中产生的数据质量参差不齐，难以有效利用。
- 提出的GR-BC框架通过构建目标可达图，利用人类干预优化轨迹，提升任务成功率。
- 在四个精确操控任务中，GR-BC在监督微调后成功率达到91%，显著优于传统方法。
📝 摘要（中文）
长时间的精确操控任务会产生混合质量的数据，这些数据可能包含偏离、犹豫、失败尝试和不完美的恢复。关键挑战在于识别哪些动作实际上推动了任务，而不是简单地克隆或丢弃不完美的轨迹。本文提出了一种图重加权行为克隆（GR-BC）框架，通过构建任务条件的目标可达图，迭代地处理成功和失败的演示数据，利用人类干预来优化轨迹。该方法通过反向图搜索计算任务成功所需的最小剩余步骤，并根据执行每个动作减少潜在步骤的程度进行加权。实验表明，GR-BC在四个精确操控任务中显著提高了成功率，经过少量离线迭代后成功率达到91%。
🔬 方法详解
问题定义：本文旨在解决长时间精确操控任务中产生的混合质量数据问题，现有方法往往无法有效识别推动任务的关键动作，导致不必要的轨迹克隆或丢弃。
核心思路：GR-BC框架通过构建任务条件的目标可达图，结合成功与失败的演示数据，利用人类干预来优化轨迹选择，从而提高任务成功率。
技术框架：该方法包括以下主要模块：1) 任务条件的目标可达图构建；2) 反向图搜索以计算任务成功的最小剩余步骤；3) 动作块的加权处理，基于其对潜在成功步骤的影响；4) 新的轨迹通过附加到图中并重新运行搜索进行整合。
关键创新：GR-BC的创新在于其基于后果的加权机制，能够重用失败轨迹中的可恢复段，并利用干预作为恢复路径，同时降低成功轨迹中局部回归块的权重。这一方法与传统的轨迹比较或进度标签方法有本质区别。
关键设计：该方法不依赖于奖励模型、动作条件的评论者或进度预测器，简化了设计流程。关键参数包括图的构建方式和加权策略，确保了在不同任务中的适应性和有效性。
🖼️ 关键图片
📊 实验亮点
在四个精确操控任务中，GR-BC方法经过少量离线迭代后，成功率达到了91%。这一结果显著优于传统的单轮监督微调方法，展示了其在处理复杂操控任务中的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括精密机器人操控、自动化生产线、医疗机器人等。通过提高机器人在复杂任务中的成功率，GR-BC能够显著提升机器人在实际应用中的效率和可靠性，推动智能制造和服务机器人技术的发展。
📄 摘要（原文）
Long-horizon precise manipulation produces mixed-quality data for post-training vision-language-action (VLA) models: even successful demonstrations and intervention-assisted rollouts may contain detours, hesitations, failed attempts, and imperfect recoveries. The key challenge is to identify which action chunks actually advance the task, rather than uniformly cloning or discarding imperfect trajectories. We propose Graph-Reweighted Behavior Cloning (GR-BC), an offline iterative post-training framework that builds a task-conditioned goal-reachability graph over demonstrations and iteratively collected rollouts, including both successful and failed episodes with human interventions. Reverse graph search computes minimal remaining steps to task success within the dataset support, and each action chunk is weighted by how much its execution reduces this potential. This consequence-based weighting reuses recoverable segments from failed trajectories, leverages interventions as recovery paths, and down-weights locally regressive chunks even inside successful trajectories. New rollouts are incorporated by appending them to the graph and rerunning search, without training a reward model, action-conditioned critic, or progress predictor. Across four precise manipulation tasks and three VLA backbones, GR-BC improves single-round supervised fine-tuning and reaches 91% success after a few offline iterations, without trajectory comparisons or progress labels. More details and videos are available at: https://gr-bc.github.io