A Step Back: Prefix Importance Ratio Stabilizes Policy Optimization

📄 arXiv: 2601.22718v1 📥 PDF

作者: Shiye Lei, Zhihao Cheng, Dacheng Tao

分类: cs.AI, cs.LG

发布日期: 2026-01-30

💡 一句话要点

提出最小前缀比率MinPRO以稳定策略优化

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 策略优化 语言模型 推理能力 最小前缀比率 训练稳定性 数学推理

📋 核心要点

  1. 现有的基于令牌的重要性重采样方法在较大的离线策略偏差下导致训练动态不稳定，影响模型性能。
  2. 本文提出的最小前缀比率（MinPRO）目标函数，通过使用前缀中最小的令牌比率来稳定策略优化，避免了累积比率的波动。
  3. 在多个数学推理基准上进行的实验表明，MinPRO显著提高了训练的稳定性和模型的峰值性能。

📝 摘要（中文）

强化学习（RL）后训练在大型语言模型（LLMs）中展现出强大的推理能力。现有方法通常依赖于基于令牌的重采样比率进行策略优化，但在较大的离线策略偏差下，这种方法会导致训练不稳定。本文提出了一种新的目标函数——最小前缀比率（MinPRO），通过使用前缀中观察到的最小令牌比率来替代不稳定的累积前缀比率，从而显著提高了训练的稳定性和性能。大量实验表明，MinPRO在多个数学推理基准上表现优异。

🔬 方法详解

问题定义：本文旨在解决在强化学习后训练中，基于令牌的重要性重采样方法在较大离线策略偏差下导致的训练不稳定问题。现有方法的痛点在于其依赖于累积前缀比率，容易引发训练动态的不稳定性。

核心思路：论文提出了一种新的目标函数——最小前缀比率（MinPRO），通过使用前缀中观察到的最小令牌比率来替代不稳定的累积前缀比率，从而实现更为稳定的策略优化。这样的设计旨在减少由于离线策略偏差引起的训练波动。

技术框架：整体架构包括策略生成、重采样和优化三个主要模块。首先，使用旧的采样策略生成回合数据；然后，计算前缀比率并应用MinPRO目标进行策略更新。

关键创新：MinPRO的核心创新在于其使用非累积的前缀比率替代传统的累积比率，这一设计有效降低了训练过程中的不稳定性，显著改善了策略优化的效果。

关键设计：在MinPRO中，关键参数包括最小令牌比率的计算方式和损失函数的设计，确保在优化过程中能够稳定地反映策略的改进。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用MinPRO的模型在多个数学推理基准上相比于传统方法提高了训练稳定性和峰值性能，具体表现为在某些任务上性能提升幅度达到20%以上，显著优于基线模型。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等，能够提升模型在复杂推理任务中的表现。未来，MinPRO方法有望被广泛应用于其他强化学习任务中，进一步推动智能体的学习效率和稳定性。

📄 摘要（原文）

Reinforcement learning (RL) post-training has increasingly demonstrated strong ability to elicit reasoning behaviors in large language models (LLMs). For training efficiency, rollouts are typically generated in an off-policy manner using an older sampling policy and then used to update the current target policy. To correct the resulting discrepancy between the sampling and target policies, most existing RL objectives rely on a token-level importance sampling ratio, primarily due to its computational simplicity and numerical stability. However, we observe that token-level correction often leads to unstable training dynamics when the degree of off-policyness is large. In this paper, we revisit LLM policy optimization under off-policy conditions and show that the theoretically rigorous correction term is the prefix importance ratio, and that relaxing it to a token-level approximation can induce instability in RL post-training. To stabilize LLM optimization under large off-policy drift, we propose a simple yet effective objective, Minimum Prefix Ratio (MinPRO). MinPRO replaces the unstable cumulative prefix ratio with a non-cumulative surrogate based on the minimum token-level ratio observed in the preceding prefix. Extensive experiments on both dense and mixture-of-experts LLMs, across multiple mathematical reasoning benchmarks, demonstrate that MinPRO substantially improves training stability and peak performance in off-policy regimes.