Score Centering Stabilizes Off-policy Reinforcement Learning

📄 arXiv: 2609.20807v1 📥 PDF

作者: Martin Marek, Max Ryabinin

分类: cs.LG

发布日期: 2026-09-17

💡 一句话要点

提出得分中心化以稳定离线强化学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 得分中心化 训练-推理不匹配 重要性采样 模型稳定性 自然语言处理 智能系统

📋 核心要点

  1. 现有的强化学习方法在训练与推理阶段存在显著的不匹配，导致模型性能不稳定。
  2. 本文提出了一种得分中心化的修正方法，通过抵消训练与推理之间的漂移来提高模型的稳定性。
  3. 实验结果显示，得分中心化在不同参数规模的模型中均能超越传统的重要性采样方法，尤其在不匹配严重时效果更佳。

📝 摘要（中文）

强化学习（RL）在大型语言模型中的应用常常受到训练与推理引擎之间微小差异的影响，这种现象被称为训练-推理不匹配（TIM）。尽管完全消除TIM是不切实际的，因为这会显著降低回滚效率。本文表明，TIM下RL的不稳定性主要是由漂移引起的，即训练与推理引擎之间的持续偏差会随着每一步训练而累积。我们推导出一种加性“得分中心化”修正项，通过抵消漂移来稳定TIM下的RL。在训练参数从0.6B到30B的模型时，仅使用得分中心化就能在量化下与基于重要性采样的方法相匹配或超越，且随着不匹配程度的加剧，差距逐渐扩大。由于该修正是加性的，得分中心化还可以与重要性采样组合使用，在我们的过时实验中，其组合效果优于纯重要性采样基线。

🔬 方法详解

问题定义：本文旨在解决强化学习中训练与推理引擎之间的漂移问题，该漂移会导致模型性能的不稳定，尤其是在存在训练-推理不匹配（TIM）时。现有方法在处理TIM时效果不佳，无法有效消除漂移的影响。

核心思路：论文提出的得分中心化方法通过引入一个加性修正项来抵消漂移，从而稳定强化学习过程。该方法的设计理念是通过调整模型的得分，使其在训练和推理阶段保持一致性，减少因漂移造成的性能波动。

技术框架：整体架构包括数据采集、模型训练和推理三个主要阶段。在训练阶段，得分中心化修正项被引入，以调整模型输出。在推理阶段，模型利用修正后的得分进行决策，从而提高稳定性。

关键创新：得分中心化是本文的核心创新点，它通过加性修正的方式有效抵消了训练与推理之间的漂移。这一方法与传统的重要性采样方法相比，提供了一种新的思路来处理TIM问题。

关键设计：在实现得分中心化时，论文详细讨论了修正项的计算方式、参数设置及其与重要性采样的组合方式。这些设计确保了方法的有效性和灵活性，使其能够适应不同规模的模型。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，得分中心化方法在训练参数从0.6B到30B的模型中，能够在量化条件下与基于重要性采样的方法相匹配或超越，且随着不匹配程度的加剧，性能差距逐渐扩大。此外，得分中心化与重要性采样的组合在过时实验中表现优于纯重要性采样基线，展示了其强大的适应性和效果。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器人控制和其他需要强化学习的智能系统。通过提高模型在训练与推理阶段的一致性，得分中心化方法可以显著提升模型的稳定性和可靠性，进而推动智能系统在实际应用中的表现和效率。

📄 摘要（原文）

Reinforcement learning (RL) of large language models is notoriously sensitive to small differences between training and inference engines, often referred to as the training-inference mismatch (TIM). However, completely eliminating TIM is impractical, as it would come at a major cost to rollout efficiency. In this paper, we show that the instability of RL under TIM is primarily caused by drift: a persistent bias between training and inference engines that accumulates with every training step. We derive an additive "score centering" correction term that stabilizes RL under TIM by canceling drift. When training models from 0.6B to 30B parameters, score centering alone matches or outperforms methods based on importance sampling under quantization, with the gap growing as the mismatch becomes more severe. Because the correction is additive, score centering also composes with importance sampling -- their composition outperforms pure importance-sampling baselines in our staleness experiments.