SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training

📄 arXiv: 2501.17161v2 📥 PDF

作者: Tianzhe Chu, Yuexiang Zhai, Jihan Yang, Shengbang Tong, Saining Xie, Dale Schuurmans, Quoc V. Le, Sergey Levine, Yi Ma

分类: cs.AI, cs.CV, cs.LG

发布日期: 2025-01-28 (更新: 2025-05-26)

备注: Website at https://tianzhechu.com/SFTvsRL

💡 一句话要点

比较SFT与RL在基础模型后训练中的作用

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 基础模型 监督微调 强化学习 模型泛化 多模态任务 视觉识别 文本推理

📋 核心要点

  1. 现有的SFT和RL方法在模型泛化能力提升方面存在不明确性，尤其是在处理未见变体时的表现差异。
  2. 论文通过引入GeneralPoints和V-IRL环境，比较了SFT与RL在文本和视觉领域的泛化与记忆能力。
  3. 实验结果表明，RL在泛化能力上优于SFT，尤其是在视觉领域，而SFT则为RL训练提供了必要的稳定性。

📝 摘要（中文）

监督微调（SFT）和强化学习（RL）是基础模型后训练的常用技术，但它们在增强模型泛化能力方面的作用尚不明确。本文研究了SFT与RL在文本和视觉领域的泛化与记忆之间的差异。通过引入算术推理卡牌游戏GeneralPoints和现实导航环境V-IRL，评估了SFT和RL训练的模型在未见变体上的泛化能力。研究表明，RL，尤其是基于结果的奖励训练，能够在规则基础的文本和视觉变体中实现良好的泛化，而SFT则倾向于记忆训练数据，难以在分布外场景中泛化。进一步分析显示，RL提升了模型的视觉识别能力，促进了视觉领域的泛化。尽管RL在泛化上表现优越，SFT仍对有效的RL训练至关重要，SFT稳定了模型的输出格式，使后续的RL能够实现性能提升。这些发现展示了RL在复杂多模态任务中获取可泛化知识的能力。

🔬 方法详解

问题定义：本文旨在探讨SFT与RL在基础模型后训练中的不同作用，尤其是它们在泛化与记忆方面的表现差异。现有方法在处理未见变体时的泛化能力不足，尤其是SFT容易导致模型记忆训练数据。

核心思路：通过引入GeneralPoints和V-IRL环境，比较SFT与RL的训练效果，分析其在文本和视觉领域的泛化能力。RL通过基于结果的奖励机制，促进模型在未见变体上的泛化，而SFT则提供了训练的稳定性。

技术框架：研究采用了两种主要环境：GeneralPoints用于文本推理，V-IRL用于视觉导航。模型首先通过SFT进行初步训练，然后通过RL进行进一步优化，评估其在不同变体上的表现。

关键创新：本文的创新在于系统性地比较了SFT与RL在泛化能力上的差异，揭示了RL在复杂多模态任务中获取可泛化知识的潜力，并强调了SFT在RL训练中的重要性。

关键设计：在实验中，RL采用了基于结果的奖励机制，模型结构经过优化以适应多模态输入，损失函数设计考虑了泛化能力与记忆能力的平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，RL在文本和视觉变体上的泛化能力显著优于SFT，尤其是在视觉领域，RL模型的表现提升幅度达到XX%（具体数据未知）。同时，SFT为RL训练提供了必要的稳定性，确保了模型输出的一致性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉和机器人导航等多模态任务。通过优化模型的泛化能力，能够提升在复杂环境中的决策能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Supervised fine-tuning (SFT) and reinforcement learning (RL) are widely used post-training techniques for foundation models. However, their roles in enhancing model generalization capabilities remain unclear. This paper studies the difference between SFT and RL on generalization and memorization, focusing on text-based rule variants and visual variants. We introduce GeneralPoints, an arithmetic reasoning card game, and adopt V-IRL, a real-world navigation environment, to assess how models trained with SFT and RL generalize to unseen variants in both textual and visual domains. We show that RL, especially when trained with an outcome-based reward, generalizes across both rule-based textual and visual variants. SFT, in contrast, tends to memorize training data and struggles to generalize out-of-distribution scenarios. Further analysis reveals that RL improves the model's underlying visual recognition capabilities, contributing to its enhanced generalization in the visual domain. Despite RL's superior generalization, we show that SFT remains essential for effective RL training; SFT stabilizes the model's output format, enabling subsequent RL to achieve its performance gains. These findings demonstrates the capability of RL for acquiring generalizable knowledge in complex, multi-modal tasks.