FoMo Rewards: Can we cast foundation models as reward functions?

📄 arXiv: 2312.03881v1 📥 PDF

作者: Ekdeep Singh Lubana, Johann Brehmer, Pim de Haan, Taco Cohen

分类: cs.LG, cs.AI

发布日期: 2023-12-06

备注: Accepted to NeurIPS FMDM workshop

💡 一句话要点

提出基于预训练模型的通用奖励函数，用于强化学习交互任务。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 奖励函数 预训练模型 视觉语言模型 通用人工智能

📋 核心要点

  1. 现有强化学习方法在复杂交互任务中缺乏通用性，奖励函数设计困难且依赖领域知识。
  2. 论文提出利用预训练视觉模型和语言模型，通过计算任务指令的可能性来构建通用奖励函数。
  3. 实验表明，该奖励函数能有效区分期望行为与非期望行为，为开放式智能体设计提供新思路。

📝 摘要（中文）

本文探讨了将预训练模型作为强化学习通用奖励函数的可能性。为此，我们提出了一个简单的流程，将现成的视觉模型与大型语言模型连接起来。具体而言，给定一个观测轨迹，我们推断描述用户希望智能体执行的任务的指令的可能性。我们表明，这种通用可能性函数表现出理想的奖励函数应有的特征：它将高值与期望的行为相关联，而将较低的值与几个相似但不正确的策略相关联。总的来说，我们的工作开启了通过预训练模型为交互任务设计开放式智能体的可能性。

🔬 方法详解

问题定义：现有的强化学习方法在处理复杂、开放式的交互任务时，面临奖励函数设计的难题。传统的奖励函数往往需要人工设计，依赖于大量的领域知识，并且难以泛化到新的任务上。此外，如何让智能体理解用户的意图，并根据意图进行学习，也是一个挑战。

核心思路：本文的核心思路是利用预训练的视觉模型和大型语言模型，将用户意图转化为一个可计算的奖励信号。具体来说，给定智能体执行任务的观测轨迹，通过视觉模型提取特征，然后利用语言模型评估该轨迹与用户指令的匹配程度。匹配程度越高，奖励越高。这样，奖励函数不再需要人工设计，而是通过预训练模型自动学习得到。

技术框架：整体框架包含两个主要模块：视觉模型和语言模型。首先，视觉模型负责从观测轨迹中提取视觉特征。然后，将这些视觉特征输入到大型语言模型中，语言模型根据这些特征，计算用户指令的可能性。这个可能性值被用作奖励信号，指导智能体进行学习。整个流程可以看作是一个从视觉输入到语言理解再到奖励输出的过程。

关键创新：本文最重要的创新点在于提出了一个通用的、基于预训练模型的奖励函数。与传统的奖励函数相比，该方法不需要人工设计，可以自动学习，并且具有更好的泛化能力。此外，该方法将视觉信息和语言信息结合起来，使得智能体能够更好地理解用户的意图。

关键设计：在具体实现上，作者使用了现成的视觉模型和大型语言模型。视觉模型可以是任何预训练的图像或视频特征提取器，例如ResNet或CLIP。语言模型可以是任何大型语言模型，例如GPT-3或T5。关键在于如何将视觉特征输入到语言模型中，并让语言模型能够有效地评估用户指令的可能性。具体的技术细节，例如损失函数、网络结构等，可能需要根据具体的任务进行调整。

📊 实验亮点

论文通过实验验证了所提出的奖励函数的有效性。实验结果表明，该奖励函数能够有效地将高值与期望的行为相关联，而将较低的值与相似但不正确的策略相关联。这意味着智能体可以根据该奖励函数学习到期望的行为，并且能够区分不同的策略。具体的性能数据和对比基线在论文中进行了详细的描述。

🎯 应用场景

该研究成果可应用于机器人控制、游戏AI、人机交互等领域。例如，可以利用该方法训练机器人完成各种任务，如物体抓取、导航等。在游戏AI中，可以训练智能体根据玩家的指令进行游戏。在人机交互中，可以帮助智能体更好地理解用户的意图，提供更智能的服务。未来，该方法有望推动开放式智能体的发展。

📄 摘要（原文）

We explore the viability of casting foundation models as generic reward functions for reinforcement learning. To this end, we propose a simple pipeline that interfaces an off-the-shelf vision model with a large language model. Specifically, given a trajectory of observations, we infer the likelihood of an instruction describing the task that the user wants an agent to perform. We show that this generic likelihood function exhibits the characteristics ideally expected from a reward function: it associates high values with the desired behaviour and lower values for several similar, but incorrect policies. Overall, our work opens the possibility of designing open-ended agents for interactive tasks via foundation models.