Free Everywhere, Exact on Trees: PPO's Dropped Correction Buys Sample Efficiency Under Aggressive Reuse

📄 arXiv: 2609.39634v1 📥 PDF

作者: Nima H. Siboni

分类: cs.LG, cs.AI

发布日期: 2026-09-30

💡 一句话要点

提出一种新方法提升PPO在树形结构上的样本效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 策略改进 样本效率 强化学习 PPO 信用分配 动态优化 历史注入

📋 核心要点

  1. 现有的策略改进方法在样本重用时存在偏差，导致学习效率低下。
  2. 提出了一种基于历史注入动态的精确修正方法，通过对数概率恢复状态访问比率。
  3. 实验结果表明，修正后的方法在困难任务中学习速度显著快于传统PPO，且收益随任务难度增加而提升。

📝 摘要（中文）

现有的策略改进方法（如TRPO、PPO和GRPO）在行为策略的状态访问分布下估计策略改进，而非改进策略自身。这种替代方法使得目标可以通过行为策略的回合进行估计，但随着策略偏差的增加而引入了偏差。本文在历史注入动态下，提出了一种通过已计算的对数概率恢复状态访问比率的精确修正方法。通过实验验证，该方法在困难的信用分配调度任务中，短时间的修正热身与积极的早期样本重用相比，学习速度超过了PPO，且随着任务难度的增加，边际收益也显著提升。

🔬 方法详解

问题定义：本文旨在解决现有策略改进方法在样本重用时引入的偏差问题，导致学习效率低下。现有方法如PPO在行为策略的状态访问分布下进行估计，无法有效利用远离策略的样本。

核心思路：论文提出了一种在历史注入动态下，通过已计算的对数概率恢复状态访问比率的精确修正方法。该方法通过调整样本重用过程中的偏差，提升了样本效率。

技术框架：整体框架包括状态访问比率的计算、对数概率的恢复以及样本重用策略的优化。主要模块包括数据收集、修正计算和策略更新。

关键创新：最重要的创新在于提出了一种单参数家族的修正方法，能够在PPO的基础上灵活调整偏差与方差的权衡，显著提升了样本效率。

关键设计：关键参数包括修正的强度（α），损失函数的设计考虑了样本重用的偏差，网络结构则基于现有PPO架构进行优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，修正后的PPO在困难的信用分配调度任务中，学习速度比传统PPO快，学习曲线AUC提升幅度从+0.02到+0.09，且早期的学习优势与样本重用引入的偏差密切相关。

🎯 应用场景

该研究的潜在应用领域包括强化学习在机器人控制、游戏AI和自动驾驶等领域的优化。通过提升样本效率，能够在更短的时间内实现更高效的学习，具有重要的实际价值和未来影响。

📄 摘要（原文）

Common policy improvement methods, including TRPO, PPO, and GRPO, estimate policy improvement under the behavioral policy's state-visitation distribution rather than the improved policy's own. The substitution makes the objective estimable from the behavioral policy's rollouts but adds a bias growing with policy divergence, hence the trust region or clip, and hence no reuse of a batch far off-policy. We show that under history-injective dynamics, where each state is reached by exactly one history, the dropped state-visitation ratio equals the product of per-step policy ratios along the sampled prefix, on every trajectory and not only in expectation. The ratio is therefore restored exactly, from log-probabilities PPO already computes. Autoregressive generation and canonical-order constructive optimization are both history-injective. The exact correction pays importance-sampling variance that grows with the horizon, so we generalize it to a one-parameter family with PPO ($α{=}0$) and the full correction ($α{=}1$) as endpoints: a single bias--variance knob. A gradient-level analysis of the unclipped surrogate identifies two channels the correction acts through and three conditions under which it carries signal; an enumerable testbed confirms the conditions' predictions. On hard credit-assignment scheduling tasks, a short corrected warmup with aggressive early sample reuse learns faster than PPO and than the same reuse uncorrected; the marginal gain grows with task difficulty ($+0.02$ to $+0.09$ learning-curve AUC), and the early win over PPO tracks the prefix bias that reuse incurs. A correction held throughout, or applied where clipping already contains the reuse bias, is null to harmful.