GFlowVLM: Enhancing Multi-step Reasoning in Vision-Language Models with Generative Flow Networks

📄 arXiv: 2503.06514v2 📥 PDF

作者: Haoqiang Kang, Enna Sachdeva, Piyush Gupta, Sangjae Bae, Kwonjoon Lee

分类: cs.CL, cs.AI, cs.CV, cs.LG

发布日期: 2025-03-09 (更新: 2025-03-25)

期刊: CVPR 2025

💡 一句话要点

提出GFlowVLM以解决多步推理中的解决方案多样性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 多步推理 生成流网络 强化学习 解决方案多样性 长期依赖 智能决策

📋 核心要点

  1. 现有的微调方法如SFT和PPO在多步推理任务中存在数据假设和奖励最大化的局限，限制了解决方案的多样性和泛化能力。
  2. GFlowVLM框架通过生成流网络对视觉-语言模型进行微调，促进复杂推理任务中的多样化解决方案生成，建模为非马尔可夫决策过程。
  3. 实验结果显示，GFlowVLM在卡牌游戏和具身规划任务上显著提升了训练效率、解决方案多样性和泛化能力。

📝 摘要（中文）

视觉-语言模型（VLMs）在顺序决策任务中取得了显著进展，但现有的微调方法如监督微调（SFT）和强化学习（RL）技术存在明显局限性：SFT假设数据独立同分布（IID），而PPO则专注于最大化累积奖励。这些局限性限制了解决方案的多样性，并妨碍了多步推理任务的泛化能力。为了解决这些挑战，本文提出了一种新框架GFlowVLM，利用生成流网络（GFlowNets）对VLM进行微调，以促进复杂推理任务的多样化解决方案生成。GFlowVLM将环境建模为非马尔可夫决策过程，能够捕捉现实应用中至关重要的长期依赖关系。实验结果表明，GFlowVLM在复杂任务（如卡牌游戏和具身规划任务）上表现优于以往的微调方法。

🔬 方法详解

问题定义：本文旨在解决视觉-语言模型在多步推理任务中因现有微调方法的局限性而导致的解决方案多样性不足和泛化能力不足的问题。现有的SFT和PPO方法无法有效捕捉长期依赖关系，限制了模型的表现。

核心思路：GFlowVLM通过引入生成流网络（GFlowNets）对视觉-语言模型进行微调，旨在促进多样化的解决方案生成。该方法将环境视为非马尔可夫决策过程，能够更好地捕捉复杂任务中的长期依赖性。

技术框架：GFlowVLM的整体架构包括输入观察和任务描述，利用链式思维（CoT）推理来指导行动选择。模型通过任务相关奖励对VLM进行微调，形成一个闭环的反馈机制。

关键创新：GFlowVLM的核心创新在于使用生成流网络来替代传统的微调方法，允许模型在多步推理中生成多样化的解决方案，显著提高了解决方案的多样性和泛化能力。

关键设计：在模型设计中，GFlowVLM采用了特定的损失函数和奖励机制，以确保模型在训练过程中能够有效学习到复杂任务的长期依赖关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GFlowVLM在复杂任务上表现优异，例如在NumberLine和BlackJack等卡牌游戏中，相较于传统的SFT和PPO方法，提升了训练效率和解决方案多样性，显示出更强的泛化能力。

🎯 应用场景

GFlowVLM的研究成果具有广泛的应用潜力，尤其在需要复杂推理和决策的领域，如智能游戏、机器人规划和人机交互等。通过提升模型的解决方案多样性和泛化能力，该框架能够在实际应用中提供更为灵活和高效的决策支持，推动智能系统的进步。

📄 摘要（原文）

Vision-Language Models (VLMs) have recently shown promising advancements in sequential decision-making tasks through task-specific fine-tuning. However, common fine-tuning methods, such as Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL) techniques like Proximal Policy Optimization (PPO), present notable limitations: SFT assumes Independent and Identically Distributed (IID) data, while PPO focuses on maximizing cumulative rewards. These limitations often restrict solution diversity and hinder generalization in multi-step reasoning tasks. To address these challenges, we introduce a novel framework, GFlowVLM, a framework that fine-tune VLMs using Generative Flow Networks (GFlowNets) to promote generation of diverse solutions for complex reasoning tasks. GFlowVLM models the environment as a non-Markovian decision process, allowing it to capture long-term dependencies essential for real-world applications. It takes observations and task descriptions as inputs to prompt chain-of-thought (CoT) reasoning which subsequently guides action selection. We use task based rewards to fine-tune VLM with GFlowNets. This approach enables VLMs to outperform prior fine-tuning methods, including SFT and RL. Empirical results demonstrate the effectiveness of GFlowVLM on complex tasks such as card games (NumberLine, BlackJack) and embodied planning tasks (ALFWorld), showing enhanced training efficiency, solution diversity, and stronger generalization capabilities across both in-distribution and out-of-distribution scenarios.