SPPD: Self-training with Process Preference Learning Using Dynamic Value Margin

📄 arXiv: 2502.13516v1 📥 PDF

作者: Hao Yi, Qingyang Li, Yulan Hu, Fuzheng Zhang, Di Zhang, Yong Liu

分类: cs.AI

发布日期: 2025-02-19

💡 一句话要点

提出SPPD框架，利用动态价值边际进行过程偏好学习，提升LLM的数理逻辑推理能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 数理逻辑推理 自训练 过程偏好学习 动态价值边际

📋 核心要点

  1. 现有LLM的数理逻辑推理方法依赖prompt工程、模型蒸馏或人工标注，存在成本高、泛化性差等问题。
  2. SPPD框架通过构建过程MDP，利用贝尔曼方程推导动态价值边际，实现步骤级别的偏好优化，无需额外数据或模型。
  3. 实验证明，SPPD在7B模型上显著提升了数理逻辑推理能力，并在多个数学基准测试中取得了优异表现。

📝 摘要（中文）

本文提出了一种自训练框架SPPD，即利用动态价值边际进行过程偏好学习，旨在提升大型语言模型（LLMs）的数值和逻辑推理能力。现有方法存在一些局限性：推理阶段的技术（如思维链）依赖于提示选择和预训练知识；句子级别的监督微调（SFT）和直接偏好优化（DPO）难以处理逐步数学正确性，并且依赖于更强的模型蒸馏或人工标注；而强化学习（RL）方法则会产生高GPU内存成本和不稳定的训练。SPPD利用基于过程的马尔可夫决策过程（MDP）和贝尔曼最优性方程，推导出步骤级别的偏好优化动态价值边际，该方法采用基于树的模型响应自采样，无需其他模型的任何蒸馏。此外，理论证明SPPD等价于奖励约束下的在线策略梯度方法。在7B规模模型上的实验表明，SPPD在领域内和领域外的数学基准测试中均表现出卓越的性能。

🔬 方法详解

问题定义：现有的大型语言模型在数值和逻辑推理方面存在不足。传统的思维链（Chain of Thoughts）方法依赖于精心设计的提示，且依赖预训练知识，泛化能力有限。监督微调（SFT）和直接偏好优化（DPO）方法虽然有效，但需要高质量的标注数据或更强大的模型进行蒸馏，成本较高。强化学习方法虽然可以优化过程，但训练不稳定且需要大量的计算资源。

核心思路：SPPD的核心思路是利用自训练的方式，通过过程偏好学习来提升模型的推理能力。具体来说，将推理过程建模成马尔可夫决策过程（MDP），并利用贝尔曼最优性方程推导出动态价值边际。这个动态价值边际可以指导模型在每一步选择更优的动作（即生成更合理的中间步骤），从而提高最终结果的正确性。这种方法无需人工标注或模型蒸馏，降低了训练成本。

技术框架：SPPD框架主要包含以下几个阶段：1. 模型响应自采样：利用当前模型生成多个推理过程的候选答案。2. 过程MDP构建：将推理过程建模成马尔可夫决策过程，每个步骤对应一个状态，每个动作对应一个token生成。3. 动态价值边际计算：利用贝尔曼最优性方程，计算每个步骤的动态价值边际，作为偏好学习的依据。4. 偏好优化：使用计算得到的动态价值边际，对模型进行微调，使其更倾向于生成价值更高的推理步骤。

关键创新：SPPD的关键创新在于提出了动态价值边际的概念，并将其应用于过程偏好学习。与传统的静态奖励或人工标注的偏好相比，动态价值边际能够更准确地反映每个步骤对最终结果的贡献，从而更有效地指导模型的学习。此外，SPPD框架无需模型蒸馏，降低了训练成本。

关键设计：SPPD的关键设计包括：1. 基于树的自采样策略：用于生成多样化的候选推理过程。2. 动态价值边际的计算方法：基于贝尔曼最优性方程，考虑了未来步骤的影响。3. 偏好优化损失函数：用于指导模型学习，使其更倾向于生成价值更高的推理步骤。论文中具体使用的损失函数和优化算法未知。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，SPPD在7B规模的模型上取得了显著的性能提升。在多个数学基准测试中，SPPD的表现优于现有的方法，证明了其有效性。具体的性能数据和对比基线在论文中给出，但此处未提供。

🎯 应用场景

SPPD框架可应用于各种需要数值和逻辑推理的场景，例如数学问题求解、代码生成、知识图谱推理等。该方法能够提升LLM在这些领域的性能，使其能够更好地解决实际问题，具有广泛的应用前景。

📄 摘要（原文）

Recently, enhancing the numerical and logical reasoning capability of Large Language Models (LLMs) has emerged as a research hotspot. Existing methods face several limitations: inference-phase techniques (e.g., Chain of Thoughts) rely on prompt selection and the pretrained knowledge; sentence-level Supervised Fine-Tuning (SFT) and Direct Preference Optimization (DPO) struggle with step-wise mathematical correctness and depend on stronger models distillation or human annotations; while Reinforcement Learning (RL) approaches incur high GPU memory costs and unstable training. To address these, we propose \textbf{S}elf-training framework integrating \textbf{P}rocess \textbf{P}reference learning using \textbf{D}ynamic value margin (SPPD). SPPD leverages a process-based Markov Decision Process (MDP) and Bellman optimality equation to derive \textbf{dynamic value margin} on step-level preference optimization, which employs tree-based self-sampling on model responses \textbf{without any distillation} from other models. Furthermore, we theoretically prove that SPPD is \textbf{equivalent to on-policy policy gradient methods} under reward constraints. Experiments on 7B-scale models demonstrate superior performance across in-domain and out-domain mathematical benchmarks. We open-source our code at \href{https://anonymous.4open.science/r/SSDPO-D-DCDD}{https://anonymous.4open.science/r/SPPD-DCDD}.