How Much Backtracking is Enough? Exploring the Interplay of SFT and RL in Enhancing LLM Reasoning

📄 arXiv: 2505.24273v1 📥 PDF

作者: Hongyi James Cai, Junlin Wang, Xiaoyin Chen, Bhuwan Dhingra

分类: cs.AI

发布日期: 2025-05-30

💡 一句话要点

研究SFT与RL在提升LLM推理能力中的相互作用，探究回溯策略的有效性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 推理能力 监督微调 强化学习 回溯策略 链式思维 合成数据

📋 核心要点

  1. 现有方法在利用SFT和RL提升LLM推理能力时，对回溯策略的贡献和最佳使用范围理解不足。
  2. 论文通过构建合成数据集，系统地研究了SFT和RL在不同推理任务中，回溯步骤数量的影响。
  3. 实验表明，更长的CoT序列和更高频率的回溯能提升RL训练效果，且RL更关注结构而非内容。

📝 摘要（中文）

大型语言模型（LLM）的最新突破有效提升了其推理能力，尤其是在具有可验证答案的数学和逻辑问题上，这得益于监督微调（SFT）和强化学习（RL）等技术。先前的研究表明，RL有效地内化了搜索策略，从而实现了长链式思维（CoT）推理，并且回溯自然而然地成为一种学习能力。然而，回溯的具体好处，特别是它对推理改进的贡献程度以及其使用的最佳范围，仍然知之甚少。在这项工作中，我们系统地研究了SFT和RL在八个推理任务上的动态关系：Countdown, Sudoku, Arc 1D, Geometry, Color Cube Rotation, List Functions, Zebra Puzzles, and Self Reference。我们的研究结果表明，与冷启动RL相比，SFT中使用的短CoT序列作为热身确实对RL训练有适度的贡献；然而，当任务变得越来越困难时，这种贡献会减小。受此观察的启发，我们构建了在回溯步骤数量上系统变化的合成数据集，并进行对照实验以分离正确性（内容）或结构（即回溯频率）的影响。我们发现（1）具有回溯的较长CoT通常会诱导更好和更稳定的RL训练，（2）具有较大搜索空间的更具挑战性的问题往往需要在SFT阶段进行更高数量的回溯。此外，我们通过对提炼数据的实验证明，RL训练在很大程度上不受长CoT序列正确性的影响，这表明RL优先考虑结构模式而不是内容正确性。总的来说，我们的结果为设计有效的训练策略以有效扩展LLM中的推理提供了实用的见解。

🔬 方法详解

问题定义：现有的大语言模型（LLM）推理能力提升方法，如监督微调（SFT）和强化学习（RL），虽然在数学和逻辑问题上取得了进展，但对于其中回溯策略的具体作用和最佳使用方式缺乏深入理解。现有方法难以确定回溯对推理能力提升的贡献，以及如何有效地利用回溯来提高模型性能。

核心思路：论文的核心思路是通过构建可控的合成数据集，系统地研究SFT和RL训练过程中回溯策略的影响。通过控制回溯的次数和内容正确性，分离出回溯结构和内容对模型训练的影响，从而揭示回溯在提升LLM推理能力中的作用机制。

技术框架：论文采用了一种实验驱动的研究方法，主要包含以下几个阶段： 1. 任务选择：选择了八个推理任务，包括Countdown, Sudoku, Arc 1D, Geometry等。 2. 数据合成：构建合成数据集，系统地改变回溯步骤的数量，并控制CoT序列的正确性。 3. 模型训练：使用SFT和RL对模型进行训练，并对比不同回溯策略下的模型性能。 4. 结果分析：分析实验结果，评估回溯对模型推理能力的影响，并探讨SFT和RL之间的相互作用。

关键创新：论文的关键创新在于： 1. 系统地研究了回溯策略对LLM推理能力的影响，填补了现有研究的空白。 2. 通过构建可控的合成数据集，分离了回溯结构和内容对模型训练的影响。 3. 揭示了RL训练更关注回溯的结构模式而非内容正确性，为优化训练策略提供了新的视角。

关键设计：论文的关键设计包括： 1. 构建合成数据集时，控制回溯步骤的数量，并确保数据集的多样性。 2. 在SFT阶段，使用不同长度的CoT序列作为热身，并对比其对RL训练的影响。 3. 在RL训练中，使用合适的奖励函数来引导模型学习回溯策略。 4. 通过消融实验，分析不同因素对模型性能的影响，例如回溯频率、CoT序列长度等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，具有回溯的较长CoT序列通常会诱导更好和更稳定的RL训练。更具挑战性的问题，即具有较大搜索空间的问题，往往需要在SFT阶段进行更高数量的回溯。此外，RL训练在很大程度上不受长CoT序列正确性的影响，表明RL优先考虑结构模式而不是内容正确性。

🎯 应用场景

该研究成果可应用于提升大语言模型在复杂推理任务中的表现，例如数学问题求解、逻辑推理、代码生成等。通过优化训练策略，可以使模型更有效地利用回溯策略，从而提高解决问题的能力和鲁棒性。该研究对开发更强大的AI系统具有重要意义。

📄 摘要（原文）

Recent breakthroughs in large language models (LLMs) have effectively improved their reasoning abilities, particularly on mathematical and logical problems that have verifiable answers, through techniques such as supervised finetuning (SFT) and reinforcement learning (RL). Prior research indicates that RL effectively internalizes search strategies, enabling long chain-of-thought (CoT) reasoning, with backtracking emerging naturally as a learned capability. However, the precise benefits of backtracking, specifically, how significantly it contributes to reasoning improvements and the optimal extent of its use, remain poorly understood. In this work, we systematically investigate the dynamics between SFT and RL on eight reasoning tasks: Countdown, Sudoku, Arc 1D, Geometry, Color Cube Rotation, List Functions, Zebra Puzzles, and Self Reference. Our findings highlight that short CoT sequences used in SFT as a warm-up do have moderate contribution to RL training, compared with cold-start RL; however such contribution diminishes when tasks become increasingly difficult. Motivated by this observation, we construct synthetic datasets varying systematically in the number of backtracking steps and conduct controlled experiments to isolate the influence of either the correctness (content) or the structure (i.e., backtrack frequency). We find that (1) longer CoT with backtracks generally induce better and more stable RL training, (2) more challenging problems with larger search space tend to need higher numbers of backtracks during the SFT stage. Additionally, we demonstrate through experiments on distilled data that RL training is largely unaffected by the correctness of long CoT sequences, suggesting that RL prioritizes structural patterns over content correctness. Collectively, our results offer practical insights into designing optimal training strategies to effectively scale reasoning in LLMs.