GFlowNet Fine-tuning for Diverse Correct Solutions in Mathematical Reasoning Tasks

📄 arXiv: 2410.20147v1 📥 PDF

作者: Ryoichi Takase, Masaya Tsunokake, Yuta Tsuchiya, Shota Inuzuka

分类: cs.LG

发布日期: 2024-10-26

💡 一句话要点

使用GFlowNet微调LLM，生成数学推理任务中多样化的正确解

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: GFlowNet 大型语言模型 数学推理 多样化解 强化学习

📋 核心要点

  1. 现有LLM在数学推理中缺乏生成多样化正确解的能力，限制了其在数学教育中的应用。
  2. 论文提出使用GFlowNet微调LLM，鼓励模型探索与奖励函数成比例的不同解空间。
  3. 实验结果表明，GFlowNet微调能够从不同的推理路径得到正确的答案，提升了解的多样性。

📝 摘要（中文）

数学推理问题极具挑战性，通常需要理解基本定律才能解决。定律是通用的，但最终答案的推导会因问题解决方式而异。在训练大型语言模型（LLM）时，学习生成这种多重解的能力对于加速其在数学教育中的应用至关重要。为此，我们使用生成流网络（GFlowNet）训练LLM。与最大化奖励的强化学习（RL）不同，GFlowNet微调旨在通过训练LLM来寻找多样化的解决方案，LLM的分布与奖励函数成正比。在数值实验中，我们从准确性和多样性方面评估了GFlowNet微调和最大化奖励的RL。结果表明，GFlowNet微调从不同的中间推理步骤中得出正确的最终答案，表明其改进了生成替代解决方案的能力。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在数学推理任务中生成多样化正确解的问题。现有的LLM训练方法，特别是基于奖励最大化的强化学习，可能导致模型倾向于收敛到单一的最优解，而忽略了其他同样正确的解法。这限制了LLM在数学教育等领域的应用，因为学生可能需要理解不同的解题思路。

核心思路：论文的核心思路是利用生成流网络（GFlowNet）来微调LLM，使其能够生成与奖励函数成比例的解的分布。GFlowNet通过学习一个概率流，使得模型能够探索不同的解空间，并生成多样化的正确解。与传统的奖励最大化方法不同，GFlowNet的目标是学习一个能够反映解的多样性的分布。

技术框架：整体框架包括以下几个步骤：1) 定义数学推理任务的奖励函数，奖励正确的最终答案。2) 使用GFlowNet训练LLM，使其能够生成与奖励函数成比例的解的分布。3) 通过采样LLM生成的解，评估其准确性和多样性。该框架的关键在于GFlowNet的训练过程，它通过前向和后向流来学习解的分布。

关键创新：最重要的技术创新点是使用GFlowNet来微调LLM，以生成多样化的正确解。与传统的强化学习方法相比，GFlowNet能够更好地探索解空间，并学习一个能够反映解的多样性的分布。这使得模型能够生成不同的解题思路，从而更好地服务于数学教育等领域。

关键设计：论文中涉及的关键设计包括：1) GFlowNet的训练目标，即最大化前向流和后向流的一致性。2) 奖励函数的定义，需要能够准确地反映解的正确性。3) LLM的架构选择，需要能够支持GFlowNet的训练过程。具体的参数设置和网络结构在论文中可能没有详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，使用GFlowNet微调的LLM能够从不同的中间推理步骤中得出正确的最终答案，表明其改进了生成替代解决方案的能力。论文对比了GFlowNet微调和奖励最大化的强化学习方法，发现GFlowNet微调在生成多样化解方面表现更好。具体的性能数据和提升幅度在摘要中未明确给出，属于未知信息。

🎯 应用场景

该研究成果可应用于数学教育领域，帮助学生理解不同的解题思路，提高解决问题的能力。此外，该方法还可以推广到其他需要生成多样化解决方案的任务中，例如程序生成、药物发现等。通过生成不同的解决方案，可以更好地满足用户的需求，并提高系统的鲁棒性。

📄 摘要（原文）

Mathematical reasoning problems are among the most challenging, as they typically require an understanding of fundamental laws to solve. The laws are universal, but the derivation of the final answer changes depending on how a problem is approached. When training large language models (LLMs), learning the capability of generating such multiple solutions is essential to accelerate their use in mathematical education. To this end, we train LLMs using generative flow network (GFlowNet). Different from reward-maximizing reinforcement learning (RL), GFlowNet fine-tuning seeks to find diverse solutions by training the LLM whose distribution is proportional to a reward function. In numerical experiments, we evaluate GFlowNet fine-tuning and reward-maximizing RL in terms of accuracy and diversity. The results show that GFlowNet fine-tuning derives correct final answers from diverse intermediate reasoning steps, indicating the improvement of the capability of alternative solution generation.