Fine-Tuning Large Vision-Language Models as Decision-Making Agents via Reinforcement Learning

📄 arXiv: 2405.10292v3 📥 PDF

作者: Yuexiang Zhai, Hao Bai, Zipeng Lin, Jiayi Pan, Shengbang Tong, Yifei Zhou, Alane Suhr, Saining Xie, Yann LeCun, Yi Ma, Sergey Levine

分类: cs.AI, cs.CL, cs.CV, cs.LG

发布日期: 2024-05-16 (更新: 2024-10-07)

💡 一句话要点

提出基于强化学习的视觉-语言模型微调框架，提升决策智能体性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 强化学习 思维链 决策智能体 多步推理

📋 核心要点

  1. 现有VLM微调方法在多步决策任务中学习最优策略效率较低，难以胜任复杂交互环境。
  2. 提出基于强化学习的VLM微调框架，利用思维链推理引导VLM探索中间步骤，提升决策能力。
  3. 实验表明，该框架显著提升VLM在决策任务中的性能，7b模型甚至超越GPT4-V和Gemini等商业模型。

📝 摘要（中文）

大型视觉-语言模型（VLMs）在专门的视觉指令跟随数据上进行微调后，在各种场景中展现出了令人印象深刻的语言推理能力。然而，这种微调范式可能无法有效地学习交互式环境中多步骤目标导向任务中的最优决策智能体。为了解决这个挑战，我们提出了一个算法框架，使用强化学习（RL）来微调VLMs。具体来说，我们的框架提供任务描述，然后提示VLM生成思维链（CoT）推理，使VLM能够有效地探索导致最终基于文本的动作的中间推理步骤。接下来，将开放式文本输出解析为可执行的动作，以与环境交互，从而获得目标导向的任务奖励。最后，我们的框架使用这些任务奖励，通过强化学习来微调整个VLM。实验结果表明，我们提出的框架增强了VLM智能体在各种任务中的决策能力，使得7b模型能够优于GPT4-V或Gemini等商业模型。此外，我们发现CoT推理是提高性能的关键组成部分，因为移除CoT推理会导致我们方法的整体性能显著下降。

🔬 方法详解

问题定义：现有的大型视觉-语言模型（VLMs）虽然在视觉指令跟随任务上表现出色，但在多步骤、目标导向的交互式环境中，直接使用微调方法训练决策智能体效率低下。痛点在于，VLM难以有效地探索和学习复杂的动作序列，从而导致次优的决策策略。

核心思路：论文的核心思路是利用强化学习（RL）来微调VLMs，使其能够更好地学习在交互式环境中进行决策。通过引入思维链（CoT）推理，引导VLM分解复杂任务为多个中间步骤，从而更容易探索和学习最优的动作序列。这种方法结合了VLM的语言推理能力和RL的探索能力，从而提升了决策智能体的性能。

技术框架：该框架包含以下几个主要阶段：1) 任务描述：向VLM提供任务的文本描述。2) 思维链推理：提示VLM生成CoT推理，分解任务为多个中间步骤。3) 动作解析：将VLM生成的开放式文本输出解析为可执行的动作。4) 环境交互：执行动作并与环境交互，获得任务奖励。5) 强化学习微调：使用任务奖励来微调整个VLM，优化其决策策略。

关键创新：最重要的技术创新点在于将强化学习与VLM的思维链推理相结合。与传统的VLM微调方法相比，该方法能够更有效地探索和学习复杂的动作序列，从而提升决策智能体的性能。此外，利用CoT推理分解任务，使得VLM更容易理解任务目标和学习中间步骤，从而提高了学习效率。

关键设计：论文中关键的设计包括：1) 如何有效地提示VLM生成CoT推理，例如使用特定的prompt模板。2) 如何将VLM生成的开放式文本输出解析为可执行的动作，例如使用规则或机器学习模型。3) 如何设计奖励函数，以鼓励VLM学习最优的决策策略。4) 使用何种强化学习算法来微调VLM，例如PPO或SAC。这些细节在论文中可能没有详细描述，需要进一步研究。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该框架显著提升了VLM智能体在各种决策任务中的性能。特别地，使用该框架微调的7b模型能够超越GPT4-V和Gemini等商业模型。此外，实验还证明了思维链（CoT）推理在性能提升中的关键作用，移除CoT推理会导致整体性能显著下降。

🎯 应用场景

该研究成果可应用于机器人控制、游戏AI、智能助手等领域。例如，可以训练机器人完成复杂的装配任务，开发更智能的游戏AI，或构建能够理解用户意图并提供个性化服务的智能助手。该方法有望提升智能体在复杂环境中的决策能力，实现更高级的人工智能应用。

📄 摘要（原文）

Large vision-language models (VLMs) fine-tuned on specialized visual instruction-following data have exhibited impressive language reasoning capabilities across various scenarios. However, this fine-tuning paradigm may not be able to efficiently learn optimal decision-making agents in multi-step goal-directed tasks from interactive environments. To address this challenge, we propose an algorithmic framework that fine-tunes VLMs with reinforcement learning (RL). Specifically, our framework provides a task description and then prompts the VLM to generate chain-of-thought (CoT) reasoning, enabling the VLM to efficiently explore intermediate reasoning steps that lead to the final text-based action. Next, the open-ended text output is parsed into an executable action to interact with the environment to obtain goal-directed task rewards. Finally, our framework uses these task rewards to fine-tune the entire VLM with RL. Empirically, we demonstrate that our proposed framework enhances the decision-making capabilities of VLM agents across various tasks, enabling 7b models to outperform commercial models such as GPT4-V or Gemini. Furthermore, we find that CoT reasoning is a crucial component for performance improvement, as removing the CoT reasoning results in a significant decrease in the overall performance of our method.