Fork Where the Model Changes Its Mind: Belief-Shift Branching for Tree-Structured Reinforcement Learning
作者: Bin Lei, Yu Li, Prafulla Kumar Choubey, Jiaxin Zhang, Becky Xiangyu Peng, Qinyuan Ye, Kartik Narayan, Caiwen Ding, Silvio Savarese, Chien-Sheng Wu
分类: cs.AI
发布日期: 2026-09-10
💡 一句话要点
提出信念转变分支以优化树结构强化学习中的决策过程
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 树结构 信念转变 决策优化 模型评估 自动化系统 代码生成
📋 核心要点
- 现有的强化学习方法在分叉位置的选择上存在局限，导致无法有效利用步骤级奖励信号。
- 本文提出信念转变分支，通过在模型信念显著变化的步骤前进行分叉，优化了分叉位置的选择。
- 实验结果显示，该方法在多个模型和任务中均超越了现有基线，尤其在数学和代码生成任务上表现突出。
📝 摘要（中文）
树结构的回滚方法实现了无评论的强化学习与可验证奖励（RLVR），通过在中间点分叉链条，利用兄弟结果差异来估计步骤价值。现有方法在分叉位置的选择上存在局限，通常依赖于固定长度或熵等结构。本文提出了信念转变分支的方法，通过在模型信念发生显著变化的步骤前进行分叉，优化了分叉位置的选择。实验结果表明，该方法在多个模型和领域中均显著提升了性能，尤其在数学和代码任务上表现优异。
🔬 方法详解
问题定义：本文旨在解决树结构强化学习中分叉位置选择不当导致的步骤级奖励信号不足的问题。现有方法通常依赖于固定的结构或熵来选择分叉位置，效果有限。
核心思路：提出信念转变分支的方法，通过分析模型在候选边界的信念变化，选择在信念显著分歧的步骤前进行分叉，从而提高奖励信号的有效性。
技术框架：整体方法包括三个主要模块：黑箱探测器、logit透视深度分析和离线学习的激活方向。每个模块在不同的访问级别下工作，且不需要步骤级监督。
关键创新：最重要的创新在于将分叉位置的选择形式化为链条价值曲线的“枢轴”定位，显著提高了分叉的有效性和效率。与现有方法相比，信念转变分支能够更准确地捕捉模型的决策变化。
关键设计：在实现中，探测器的计算成本约为步骤计算的1%，在代码任务中则低于5%。此外，信念转变信号在验证阶段表现优异，超越了熵、结构性和LLM评估基线。实验中使用的模型和基准涵盖了多个领域，确保了结果的广泛适用性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，信念转变分支在多个模型和任务中均表现优异，尤其在数学任务上相较于最强基线提升了2.6分，在代码生成任务上提升了6.5分，全面超越了现有方法的性能。
🎯 应用场景
该研究的潜在应用领域包括自动化决策系统、智能机器人、游戏AI和代码生成等。通过优化强化学习中的决策过程，信念转变分支方法能够提高系统的智能水平和效率，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Tree-structured rollouts give critic-free reinforcement learning with verifiable rewards (RLVR) step-level credit: fork a chain at an intermediate point, and sibling outcome differences estimate step value. Each fork adds sampling cost, so realistic budgets typically allow only a few forks per chain. A fork placed where the outcome is already largely settled yields siblings that mostly agree and provide almost no credit signal; hence, for a given tree size, where forks are placed largely determines how much step-level RL can gain. Most existing mainstream methods place forks by structure, such as fixed lengths, midpoints, and delimiters, or by next-token entropy. We formalize fork placement as locating the \emph{pivots} of the chain's value curve, where the expected outcome turns. We propose \emph{belief-shift branching}: read the model's answer belief at candidate boundaries and fork just before the step where consecutive beliefs diverge most. Three instantiations, none needing step-level supervision, span access levels: a black-box probe, a logit-lens depth profile, and a learned activation direction, which is fit offline and therefore used only in the validation before RL training. The signal only \emph{places} forks, and the probe costs about $1\%$ of step compute on mathematics and under $5\%$ on code when it runs inside the rollout engine. In that validation, against Monte-Carlo value curves, a belief-shift signal ranks first in each of the eight model$\times$benchmark panels, ahead of entropy, structural, and LLM-judge baselines. In RL across three model families and two domains, belief-shift forking leads every mathematics aggregate, on OLMo-3-7B by $+2.6$ aggregate and $+2.9$ on AIME 2026 over the strongest baseline, and sweeps every OLMo code column, by $+6.5$ on LiveCodeBench-medium.