Follow the Winners: Conservative Policy Improvement with the Cross-Entropy Method for Critic-Free RFT

📄 arXiv: 2610.03361v1 📥 PDF

作者: Joery Ariën de Vries, Neil David Lawrence, Zhenwen Dai

分类: cs.LG, cs.AI

发布日期: 2026-10-02

备注: Poster at NeurIPS 2026

💡 一句话要点

提出Follow the Winners以解决状态环境中的RFT问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无评论强化学习 序数过滤器 交叉熵方法 状态环境 代理模型 方差控制 强化微调

📋 核心要点

  1. 现有的GRPO风格方法在状态环境中难以有效应用，重复回合的获取和激进更新导致噪声加剧。
  2. 本文提出的FTW算法通过序数过滤器替代组回合，利用重放缓冲区样本进行无评论策略学习。
  3. FTW在Sokoban和Search-R1基准测试中表现出与GRPO和PPO相当的性能，展示了有效的方差减少策略。

📝 摘要（中文）

无评论的强化微调（RFT）在代理大型语言模型中的应用通常依赖于GRPO风格的方法，这些方法通过重复回合计算组基线以减少目标方差。然而，这种设置不适合在状态环境中运行的代理，如实时服务或安全沙箱，因为重复回合不易获得，激进的更新会加剧长时间、稀疏验证轨迹的噪声。本文提出了Follow the Winners（FTW），一种将交叉熵方法适应于RFT的无评论策略学习算法，通过对重放缓冲区样本应用序数过滤器来替代组回合，从而在收益的顺序统计中实现多项式集中。我们通过控制作为推理的视角推导FTW，同时恢复GRPO和DPO作为特定建模选择，识别GRPO为风险中性，而DPO和FTW共享一个有界的风险寻求偏移，FTW对此进行控制。

🔬 方法详解

问题定义：本文旨在解决在状态环境中应用无评论强化微调（RFT）时，现有GRPO风格方法的局限性，特别是重复回合的获取困难和噪声问题。

核心思路：FTW算法通过引入序数过滤器来替代传统的组回合方法，从而在重放缓冲区样本中实现收益的多项式集中，减少方差。

技术框架：FTW的整体架构包括样本收集、序数过滤、策略更新等主要模块，利用控制作为推理的视角进行建模。

关键创新：FTW的核心创新在于通过序数过滤器实现了无评论策略学习，区别于传统方法的组回合策略，提供了一种新的方差控制机制。

关键设计：FTW在参数设置上采用了控制偏移的设计，确保了风险寻求的有界性，同时在损失函数和网络结构上进行了优化，以适应代理大型语言模型的后训练阶段。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

FTW在Sokoban和Search-R1基准测试中表现出与GRPO和PPO相当的性能，展示了在无评论强化微调中有效的方差控制，提供了一种新的思路来优化代理模型的学习过程。

🎯 应用场景

该研究的潜在应用领域包括实时服务、在线学习系统和安全沙箱等状态环境，能够有效提升代理模型在复杂环境中的适应能力和性能。未来，FTW算法有望在更多动态和不确定性环境中得到应用，推动无评论强化学习的发展。

📄 摘要（原文）

Critic-free reinforcement fine-tuning (RFT) for agentic large language models is often done through GRPO-style methods, which compute a group baseline over repeated rollouts to reduce target variance. However, this setup is ill-suited to agents acting in stateful environments such as live services or security sandboxes, where repeated rollouts are impractical to obtain and aggressive updates entrench the noise of long, sparsely verified trajectories. We propose \textit{Follow the Winners} (FTW), a critic-free policy-learning algorithm that adapts the cross-entropy method to RFT, replacing group rollouts with an ordinal filter on replay-buffer samples that yields polynomial concentration in the order statistic of returns. We derive FTW through a control-as-inference lens, which also recovers GRPO and DPO as specific modelling choices, identifying GRPO as risk-neutral while DPO and FTW share a bounded risk-seeking offset that FTW controls. We identify this offset as an inherent trade-off of variance reduction through ordinal filters on samples, whereas a critic model induces a different trade-off between bias and variance. Scaled to agentic LLM post-training, FTW matches GRPO and PPO on Sokoban and Search-R1 baselines, showing a viable trade-off from a value model or group rollouts to CPU memory.