Policy Learning from Large Vision-Language Model Feedback without Reward Modeling

📄 arXiv: 2507.23391v1 📥 PDF

作者: Tung M. Luu, Donghoon Lee, Younghwan Lee, Chang D. Yoo

分类: cs.LG, cs.RO

发布日期: 2025-07-31

备注: Accepted to IROS 2025

💡 一句话要点

提出PLARE：利用视觉-语言模型反馈进行离线强化学习，无需奖励建模。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 视觉-语言模型 机器人操作 偏好学习 对比学习

📋 核心要点

  1. 离线强化学习依赖预收集的次优数据集，避免了在线交互的成本和风险，但传统方法需要人工标注奖励，成本高且依赖领域知识。
  2. PLARE利用大型视觉-语言模型（VLM）根据语言任务描述提供轨迹偏好标签，直接训练策略，无需学习显式奖励模型。
  3. 在MetaWorld和真实机器人操作任务上的实验表明，PLARE性能优于或等同于现有VLM奖励生成方法，验证了其有效性和实用性。

📝 摘要（中文）

本文提出了一种名为PLARE的新方法，该方法利用大型视觉-语言模型（VLM）为智能体训练提供指导信号，无需手动设计的奖励函数。PLARE通过语言任务描述，向VLM查询视觉轨迹片段对的偏好标签。然后，使用监督对比偏好学习目标，直接从这些偏好标签训练策略，从而绕过学习显式奖励模型的需要。在MetaWorld的机器人操作任务上进行的大量实验表明，PLARE的性能与现有的基于VLM的奖励生成方法相当或超过它们。此外，我们还通过物理机器人的真实操作任务验证了PLARE的有效性，进一步证实了其在实际应用中的可行性。

🔬 方法详解

问题定义：现有的离线强化学习方法通常需要人工设计的奖励函数，这既耗时又费力，并且需要大量的领域专业知识。尤其是在安全攸关的现实世界应用中，在线数据收集成本高昂且不切实际。因此，如何避免手动设计奖励函数，利用现有的数据和模型来指导智能体的学习，是一个重要的挑战。

核心思路：PLARE的核心思路是利用大型视觉-语言模型（VLM）来提供智能体训练的指导信号，而无需显式地学习奖励模型。具体来说，PLARE通过向VLM查询轨迹片段对的偏好标签，并基于这些偏好标签直接训练策略。这种方法避免了手动设计奖励函数的需要，并且可以利用VLM强大的视觉和语言理解能力。

技术框架：PLARE的整体框架包括以下几个主要步骤：1) 数据收集：收集包含视觉轨迹片段的数据集。2) 偏好标注：根据语言任务描述，向VLM查询轨迹片段对的偏好标签。VLM会判断哪个轨迹片段更符合任务描述。3) 策略训练：使用监督对比偏好学习目标，直接从偏好标签训练策略。策略的目标是最大化VLM认为更符合任务描述的轨迹片段的概率。

关键创新：PLARE的关键创新在于它提出了一种新的离线强化学习方法，该方法利用VLM的反馈来训练策略，而无需学习显式奖励模型。这与传统的离线强化学习方法有本质的区别，后者通常需要手动设计的奖励函数或学习奖励模型。PLARE通过直接从VLM的偏好标签中学习，可以更有效地利用现有的数据和模型，并且可以避免手动设计奖励函数的困难。

关键设计：PLARE的关键设计包括以下几个方面：1) 使用对比学习目标来训练策略，该目标鼓励策略生成VLM认为更符合任务描述的轨迹片段。2) 使用大型预训练的VLM作为偏好标注器，这可以利用VLM强大的视觉和语言理解能力。3) 使用离线数据集来训练策略，这可以避免在线交互的成本和风险。具体的损失函数和网络结构等技术细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PLARE在MetaWorld的机器人操作任务上取得了与现有基于VLM的奖励生成方法相当或超过它们的性能。更重要的是，PLARE在真实机器人操作任务中也表现出了良好的性能，验证了其在实际应用中的可行性。实验结果表明，PLARE可以有效地利用VLM的反馈来训练策略，而无需学习显式奖励模型，这为离线强化学习提供了一种新的思路。

🎯 应用场景

PLARE具有广泛的应用前景，尤其是在机器人操作、自动驾驶等安全攸关的领域。它可以用于训练机器人完成各种复杂的任务，例如物体抓取、装配等。由于PLARE不需要手动设计奖励函数，因此可以大大降低训练机器人的成本和难度。未来，PLARE可以与其他技术相结合，例如模仿学习、迁移学习等，以进一步提高机器人的性能和泛化能力。

📄 摘要（原文）

Offline reinforcement learning (RL) provides a powerful framework for training robotic agents using pre-collected, suboptimal datasets, eliminating the need for costly, time-consuming, and potentially hazardous online interactions. This is particularly useful in safety-critical real-world applications, where online data collection is expensive and impractical. However, existing offline RL algorithms typically require reward labeled data, which introduces an additional bottleneck: reward function design is itself costly, labor-intensive, and requires significant domain expertise. In this paper, we introduce PLARE, a novel approach that leverages large vision-language models (VLMs) to provide guidance signals for agent training. Instead of relying on manually designed reward functions, PLARE queries a VLM for preference labels on pairs of visual trajectory segments based on a language task description. The policy is then trained directly from these preference labels using a supervised contrastive preference learning objective, bypassing the need to learn explicit reward models. Through extensive experiments on robotic manipulation tasks from the MetaWorld, PLARE achieves performance on par with or surpassing existing state-of-the-art VLM-based reward generation methods. Furthermore, we demonstrate the effectiveness of PLARE in real-world manipulation tasks with a physical robot, further validating its practical applicability.