SPPO: Sequence-Level PPO for Long-Horizon Reasoning Tasks

📄 arXiv: 2604.08865v1 📥 PDF

作者: Tianyi Wang, Yixia Li, Long Li, Yibiao Chen, Shaohan Huang, Yun Chen, Peng Li, Yang Liu, Guanhua Chen

分类: cs.AI

发布日期: 2026-04-10

备注: ACL 2026 Main

💡 一句话要点

提出SPPO以解决长时间推理任务中的PPO不稳定问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时间推理 近端策略优化 大型语言模型 上下文赌博 样本效率 计算效率 数学基准测试

📋 核心要点

  1. 现有的标准token级PPO在长链式思维推理任务中面临时间信用分配不稳定和内存成本高的问题。
  2. 本文提出的SPPO算法将推理过程视为序列级上下文赌博问题，使用解耦的标量价值函数以提高样本效率和稳定性。
  3. 实验结果表明，SPPO在数学基准测试中显著优于标准PPO，并与计算密集型方法的性能相当，展现出其资源高效性。

📝 摘要（中文）

近端策略优化（PPO）在将大型语言模型（LLMs）与可验证奖励对齐的推理任务中至关重要。然而，标准的基于token的PPO在长链式思维（CoT）任务中由于时间信用分配的不稳定性和价值模型的高内存成本而面临挑战。尽管无评论员的替代方案如GRPO缓解了这些问题，但由于需要多个样本进行基线估计，导致计算开销显著，严重限制了训练吞吐量。本文提出了序列级PPO（SPPO），一种可扩展的算法，调和了PPO的样本效率与基于结果的更新的稳定性。SPPO将推理过程重新表述为序列级上下文赌博问题，采用解耦的标量价值函数来推导低方差的优势信号，而无需多重采样。大量数学基准实验表明，SPPO显著超越了标准PPO，并与计算密集型的基于组的方法相匹配，为对齐推理LLMs提供了资源高效的框架。

🔬 方法详解

问题定义：本文旨在解决标准token级PPO在长时间推理任务中由于时间信用分配不稳定和高内存成本导致的性能问题。现有方法在处理长链式思维时表现不佳，影响了训练效率和效果。

核心思路：SPPO通过将推理过程重新定义为序列级上下文赌博问题，采用解耦的标量价值函数，旨在提高样本效率并降低方差，避免了多重采样带来的计算开销。

技术框架：SPPO的整体架构包括推理过程的重新建模、解耦的价值函数设计以及基于结果的更新机制。该框架通过优化样本使用效率，提升了训练的稳定性和速度。

关键创新：SPPO的核心创新在于将推理任务视为上下文赌博问题，并引入解耦的标量价值函数，这与传统PPO方法的设计理念有本质区别，显著提升了长时间推理的效果。

关键设计：在SPPO中，关键设计包括解耦的标量价值函数的构建、优势信号的低方差推导，以及避免多重采样的策略，这些设计共同提升了算法的计算效率和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在数学基准测试中，SPPO显著超越了标准PPO，性能提升幅度达到XX%（具体数据未知），并且与计算密集型的基于组的方法相当，展现出其在资源效率上的优势，验证了其在长时间推理任务中的有效性。

🎯 应用场景

SPPO的研究成果在多个领域具有广泛的应用潜力，尤其是在需要长时间推理的任务中，如数学推理、自然语言理解和决策制定等。其高效的资源利用和稳定的训练过程将推动大型语言模型在实际应用中的落地，提升智能系统的推理能力和可靠性。

📄 摘要（原文）

Proximal Policy Optimization (PPO) is central to aligning Large Language Models (LLMs) in reasoning tasks with verifiable rewards. However, standard token-level PPO struggles in this setting due to the instability of temporal credit assignment over long Chain-of-Thought (CoT) horizons and the prohibitive memory cost of the value model. While critic-free alternatives like GRPO mitigate these issues, they incur significant computational overhead by requiring multiple samples for baseline estimation, severely limiting training throughput. In this paper, we introduce Sequence-Level PPO (SPPO), a scalable algorithm that harmonizes the sample efficiency of PPO with the stability of outcome-based updates. SPPO reformulates the reasoning process as a Sequence-Level Contextual Bandit problem, employing a decoupled scalar value function to derive low-variance advantage signals without multi-sampling. Extensive experiments on mathematical benchmarks demonstrate that SPPO significantly surpasses standard PPO and matches the performance of computation-heavy group-based methods, offering a resource-efficient framework for aligning reasoning LLMs.