Vision-Language Models are Zero-Shot Reward Models for Reinforcement Learning

📄 arXiv: 2310.12921v2 📥 PDF

作者: Juan Rocamonde, Victoriano Montesinos, Elvis Nava, Ethan Perez, David Lindner

分类: cs.LG, cs.AI

发布日期: 2023-10-19 (更新: 2024-03-14)

备注: Presented at International Conference on Learning Representations (ICLR) 2024

💡 一句话要点

提出VLM-RMs以解决强化学习中的奖励函数指定问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉-语言模型 零-shot学习 强化学习 奖励模型 多模态学习 机器人控制 CLIP MuJoCo

📋 核心要点

  1. 现有的强化学习方法通常依赖于手动指定奖励函数，难以适应复杂任务，且人类反馈的收集成本高。
  2. 本文提出使用预训练的视觉-语言模型作为零-shot奖励模型，能够通过自然语言描述任务，简化奖励函数的指定过程。
  3. 实验表明，基于CLIP的VLM-RMs能够有效训练人形机器人完成复杂动作，且在提供额外基线提示时性能有所提升。

📝 摘要（中文）

强化学习（RL）通常需要手动指定奖励函数，这在许多情况下是不可行的，或者需要从大量人类反馈中学习奖励模型，这往往代价高昂。本文研究了一种更为样本高效的替代方案：使用预训练的视觉-语言模型（VLMs）作为零-shot奖励模型（RMs），通过自然语言指定任务。我们提出了一种自然且通用的方法，称为VLM-RMs，基于CLIP训练MuJoCo中的人形机器人，学习复杂任务，如跪下、劈叉和坐莲花式。每个任务仅需提供一个描述所需任务的单句文本提示。我们发现，VLM-RMs在大规模VLM上表现更佳，且在一定程度上对已知的VLM能力限制表现出鲁棒性。

🔬 方法详解

问题定义：本文旨在解决强化学习中手动指定奖励函数的困难，现有方法在复杂任务中往往难以适应，且人类反馈的收集成本高昂。

核心思路：我们提出使用预训练的视觉-语言模型（VLMs）作为零-shot奖励模型（RMs），通过自然语言描述任务，从而简化奖励函数的指定过程。

技术框架：整体架构包括使用CLIP模型生成任务描述的嵌入，结合MuJoCo环境进行训练。主要模块包括任务描述生成、嵌入空间投影和基于提示的奖励信号生成。

关键创新：VLM-RMs的最大创新在于利用大型预训练VLM作为奖励模型，显著降低了对手动奖励函数的依赖，且在任务描述上仅需提供简单的文本提示。

关键设计：在实验中，我们通过提供第二个基线提示来增强模型的性能，并对CLIP嵌入空间进行投影，以去除与目标无关的部分。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于CLIP的VLM-RMs能够有效训练人形机器人完成复杂任务，如跪下、劈叉和坐莲花式，且在提供额外基线提示时，性能显著提升。我们观察到，较大的VLM在奖励模型中表现更佳，表明模型规模与性能之间存在强相关性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动化任务执行和人机交互等。通过简化奖励函数的指定过程，VLM-RMs能够在多种复杂环境中应用，提升强化学习的效率和适应性，未来可能推动更广泛的智能系统发展。

📄 摘要（原文）

Reinforcement learning (RL) requires either manually specifying a reward function, which is often infeasible, or learning a reward model from a large amount of human feedback, which is often very expensive. We study a more sample-efficient alternative: using pretrained vision-language models (VLMs) as zero-shot reward models (RMs) to specify tasks via natural language. We propose a natural and general approach to using VLMs as reward models, which we call VLM-RMs. We use VLM-RMs based on CLIP to train a MuJoCo humanoid to learn complex tasks without a manually specified reward function, such as kneeling, doing the splits, and sitting in a lotus position. For each of these tasks, we only provide a single sentence text prompt describing the desired task with minimal prompt engineering. We provide videos of the trained agents at: https://sites.google.com/view/vlm-rm. We can improve performance by providing a second "baseline" prompt and projecting out parts of the CLIP embedding space irrelevant to distinguish between goal and baseline. Further, we find a strong scaling effect for VLM-RMs: larger VLMs trained with more compute and data are better reward models. The failure modes of VLM-RMs we encountered are all related to known capability limitations of current VLMs, such as limited spatial reasoning ability or visually unrealistic environments that are far off-distribution for the VLM. We find that VLM-RMs are remarkably robust as long as the VLM is large enough. This suggests that future VLMs will become more and more useful reward models for a wide range of RL applications.