Subtask-Aware Visual Reward Learning from Segmented Demonstrations

📄 arXiv: 2502.20630v1 📥 PDF

作者: Changyeon Kim, Minho Heo, Doohyun Lee, Jinwoo Shin, Honglak Lee, Joseph J. Lim, Kimin Lee

分类: cs.RO, cs.AI, cs.CV, cs.LG

发布日期: 2025-02-28

备注: Project webpage: https://changyeon.site/reds/

💡 一句话要点

REDS：基于分割演示的子任务感知视觉奖励学习，解决机器人任务奖励函数设计难题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 奖励学习 机器人操作 视频分割 对比学习 强化学习 子任务感知 无监督学习

📋 核心要点

  1. 强化学习在机器人任务中潜力巨大，但严重依赖人工设计的奖励函数，需要大量试错，且难以获取真实环境中的目标行为信息。
  2. REDS框架利用分割的视频演示学习奖励函数，将视频片段视为ground-truth奖励，通过对比学习对齐视频表征与子任务。
  3. 实验表明，REDS在复杂机器人操作任务中显著优于基线方法，并能泛化到未见过的任务和机器人形态。

📝 摘要（中文）

本文提出了一种名为REDS（REward learning from Demonstration with Segmentations）的奖励学习框架，该框架利用带有子任务分割的无动作视频，以最小的监督学习奖励。REDS将来自不同来源的视频演示分割成子任务，并将这些片段视为ground-truth奖励。通过最小化Equivalent-Policy Invariant Comparison距离，训练一个以视频片段及其对应的子任务为条件的密集奖励函数，以确保与ground-truth奖励信号对齐。此外，采用对比学习目标来对齐视频表征与子任务，确保在线交互过程中精确的子任务推断。实验表明，REDS在Meta-World中的复杂机器人操作任务以及更具挑战性的真实世界任务（如FurnitureBench中的家具组装）上，显著优于基线方法，且只需极少的人工干预。此外，REDS有助于泛化到未见过的任务和机器人形态，突显了其在不同环境中可扩展部署的潜力。

🔬 方法详解

问题定义：现有强化学习方法在机器人任务中高度依赖人工设计的奖励函数，这需要大量的试错，并且在真实环境中，获取目标行为信息往往是困难的。因此，如何从无动作视频中学习奖励函数，以减少人工干预，是本文要解决的问题。

核心思路：本文的核心思路是利用带有子任务分割的视频演示，将每个分割片段视为一个子任务的ground-truth奖励。通过学习一个以视频片段和子任务为条件的奖励函数，使得该函数能够准确地预测每个子任务的奖励。同时，使用对比学习来对齐视频表征和子任务，从而提高子任务推断的准确性。

技术框架：REDS框架主要包含以下几个模块：1) 视频分割模块：将视频演示分割成多个子任务片段。2) 奖励函数学习模块：学习一个以视频片段和子任务为条件的密集奖励函数。3) 对比学习模块：通过对比学习对齐视频表征和子任务。4) 强化学习模块：使用学习到的奖励函数训练强化学习agent。整体流程是，首先利用视频分割模块将视频演示分割成多个子任务片段，然后利用奖励函数学习模块和对比学习模块学习奖励函数，最后使用学习到的奖励函数训练强化学习agent。

关键创新：REDS的关键创新在于：1) 利用带有子任务分割的视频演示学习奖励函数，减少了对人工设计的奖励函数的依赖。2) 使用对比学习来对齐视频表征和子任务，提高了子任务推断的准确性。3) 提出了一种新的奖励学习框架，该框架可以用于各种机器人任务。与现有方法相比，REDS不需要人工设计奖励函数，并且可以从无动作视频中学习奖励函数。

关键设计：在奖励函数学习模块中，使用了Equivalent-Policy Invariant Comparison (EPIC) 距离作为损失函数，以确保学习到的奖励函数与ground-truth奖励信号对齐。在对比学习模块中，使用了InfoNCE损失函数来对齐视频表征和子任务。网络结构方面，使用了Transformer网络来提取视频表征，并使用MLP网络来预测奖励值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，REDS在Meta-World和FurnitureBench等复杂机器人操作任务上显著优于基线方法。例如，在FurnitureBench的家具组装任务中，REDS的成功率比基线方法提高了20%以上。此外，REDS还能够泛化到未见过的任务和机器人形态，表明其具有良好的泛化能力。

🎯 应用场景

REDS框架可应用于各种机器人操作任务，例如家具组装、物体抓取、导航等。该框架的实际价值在于，它可以减少人工设计奖励函数的成本，并提高强化学习agent的训练效率。未来，REDS可以扩展到更复杂的机器人任务中，例如人机协作、自动驾驶等。

📄 摘要（原文）

Reinforcement Learning (RL) agents have demonstrated their potential across various robotic tasks. However, they still heavily rely on human-engineered reward functions, requiring extensive trial-and-error and access to target behavior information, often unavailable in real-world settings. This paper introduces REDS: REward learning from Demonstration with Segmentations, a novel reward learning framework that leverages action-free videos with minimal supervision. Specifically, REDS employs video demonstrations segmented into subtasks from diverse sources and treats these segments as ground-truth rewards. We train a dense reward function conditioned on video segments and their corresponding subtasks to ensure alignment with ground-truth reward signals by minimizing the Equivalent-Policy Invariant Comparison distance. Additionally, we employ contrastive learning objectives to align video representations with subtasks, ensuring precise subtask inference during online interactions. Our experiments show that REDS significantly outperforms baseline methods on complex robotic manipulation tasks in Meta-World and more challenging real-world tasks, such as furniture assembly in FurnitureBench, with minimal human intervention. Moreover, REDS facilitates generalization to unseen tasks and robot embodiments, highlighting its potential for scalable deployment in diverse environments.