Soft Sequence Policy Optimization

📄 arXiv: 2602.19327 📥 PDF

作者: Svetlana Glazyrina, Maksim Kryzhanovskiy, Roman Ischenko

分类: cs.LG, cs.AI

发布日期: 2026-02-28

💡 一句话要点

提出软序列策略优化（SSPO），提升LLM在数学推理任务中的训练稳定性和性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 策略优化 强化学习 序列建模 重要性采样 数学推理 软门控

📋 核心要点

  1. 现有LLM对齐方法在序列级别奖励任务中存在重要性采样权重对齐不佳的问题，导致训练不稳定。
  2. SSPO通过引入token级别概率比率上的软门控函数，优化序列级别的重要性权重，从而更好地对齐奖励。
  3. 实验表明，SSPO在数学推理任务中能够提升训练的稳定性和性能，验证了其有效性。

📝 摘要（中文）

当前大型语言模型（LLM）对齐的大部分研究集中于开发基于群相对策略优化（GRPO）的新策略优化方法。其中涌现出两个主要方向：（i）转向序列级别的的重要性采样权重，以更好地与许多任务中使用的序列级别奖励对齐；（ii）PPO风格裁剪的替代方案，旨在避免相关的训练信号损失和熵崩溃。我们引入了软序列策略优化（SSPO），这是一种离线强化学习目标，它在序列级别的重要性权重中结合了token级别概率比率上的软门控函数。我们为SSPO提供了理论动机，并研究了改进优化行为的实用修改。实验结果表明，SSPO提高了数学推理任务中的训练稳定性和性能。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）对齐过程中，现有策略优化方法在处理序列级别奖励任务时遇到的训练不稳定问题。特别是，基于群相对策略优化（GRPO）的方法，如PPO，在序列级别奖励下，由于token级别的重要性采样权重与序列级别奖励的对齐问题，容易导致训练信号损失和熵崩溃。

核心思路：论文的核心思路是引入软序列策略优化（SSPO），通过在序列级别的重要性权重中结合token级别概率比率上的软门控函数，来更精确地控制每个token对最终奖励的影响。这种方法旨在平滑重要性权重的变化，从而提高训练的稳定性。

技术框架：SSPO是一种离线强化学习方法，其整体框架包括以下步骤：1) 使用现有策略生成数据；2) 计算token级别的概率比率；3) 应用软门控函数对token级别的概率比率进行加权；4) 计算序列级别的重要性权重；5) 使用计算出的重要性权重更新策略。该框架的关键在于软门控函数的引入，它允许模型学习哪些token对最终奖励贡献更大，并相应地调整其权重。

关键创新：SSPO的关键创新在于引入了软门控函数来调节token级别的概率比率。与传统的硬裁剪方法不同，软门控函数允许模型学习token的重要性，并根据其重要性平滑地调整权重。这种方法避免了PPO中硬裁剪可能导致的训练信号损失和熵崩溃问题。

关键设计：SSPO的关键设计包括：1) 软门控函数的具体形式，论文中可能使用了sigmoid或其他平滑函数；2) 软门控函数的参数设置，例如温度参数，用于控制门控的平滑程度；3) 损失函数的设计，需要结合序列级别的奖励和软门控后的重要性权重，以优化策略。具体的网络结构取决于所使用的LLM，但SSPO可以应用于各种基于Transformer的LLM。

📊 实验亮点

实验结果表明，SSPO在数学推理任务中显著提高了训练的稳定性和性能。具体而言，SSPO能够更快地收敛，并达到更高的准确率。与传统的PPO方法相比，SSPO能够更好地避免训练信号损失和熵崩溃，从而获得更优的性能。

🎯 应用场景

SSPO可应用于各种需要序列级别奖励的LLM对齐任务，例如数学推理、代码生成、文本摘要等。该方法能够提高LLM在这些任务中的训练稳定性和性能，使其能够更好地理解和生成高质量的序列数据。此外，SSPO的软门控机制也为研究token级别的重要性提供了一种新的思路。

📄 摘要（原文）

A significant portion of recent research on Large Language Model (LLM) alignment focuses on developing new policy optimization methods based on Group Relative Policy Optimization (GRPO). Two prominent directions have emerged: (i) a shift toward sequence-level importance sampling weights that better align with the sequence-level rewards used in many tasks, and (ii) alternatives to PPO-style clipping that aim to avoid the associated loss of training signal and entropy collapse. We introduce Soft Sequence Policy Optimization, an off-policy reinforcement learning objective that incorporates soft gating functions over token-level probability ratios within sequence-level importance weights. We provide theoretical motivation for SSPO and investigate practical modifications to improve optimization behavior. Empirically, we show that SSPO improves training stability and performance in mathematical reasoning tasks.