Trust the Critic More

📄 arXiv: 2609.39247v1 📥 PDF

作者: Kaiyue Wen, Luke Bailey, Arvind Mahankali, Tengyu Ma

分类: cs.LG, cs.AI

发布日期: 2026-09-30

💡 一句话要点

提出AC2方法以优化长序列的信用分配问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 强化学习 演员-评论家 信用分配 长序列处理 自然语言处理 模型训练 效率优化

📋 核心要点

  1. 现有的强化学习方法在长序列的信用分配上存在不足，导致训练效率低下。
  2. AC2方法通过对动作块进行信用分配，避免了每个轨迹必须完成的限制，提高了训练效率。
  3. 实验结果表明，AC2在验证分数上超过了GRPO，且所需的解码FLOPs减少了2.5倍。

📝 摘要（中文）

标准的语言模型强化学习算法对长序列的每个token赋予相同的优势，这种方法在训练大型语言模型时存在局限。尽管演员-评论家方法能够提供更细致的信用分配，但学习到的评论家通常被认为不够准确。本文提出了“带有动作分块的演员-评论家（AC2）”方法，消除了对每个轨迹完成的需求，通过对动作块进行信用分配，使得策略可以在不观察终端奖励的情况下更新。我们通过三个设计选择提高了评论家基础的信用分配的可靠性，并在实验中显示AC2在性能上优于现有方法，显著减少了计算资源的消耗。

🔬 方法详解

问题定义：本文旨在解决标准强化学习算法在长序列信用分配上的不足，现有方法通常对每个token赋予相同的优势，导致训练效率低下。

核心思路：AC2方法通过对动作块进行信用分配，允许策略在不需要每个轨迹完成的情况下进行更新，从而提高了训练效率和准确性。

技术框架：AC2的整体架构包括三个主要模块：动作块划分、评论家评分和局部准备性。动作块将长序列分为短的连续部分，评论家对每个动作块的状态进行评分，而局部准备性确保评论家在特定问题上具有足够的准确性。

关键创新：AC2的主要创新在于通过动作块的信用分配机制，显著减少了对完整轨迹的依赖，这与传统方法的本质区别在于不再需要每个轨迹的终端奖励。

关键设计：在设计上，AC2引入了局部准备性，确保评论家在特定问题上的准确性；同时，当可用时，提供参考解以增强评论家的判断；最后，信用分配是基于10k tokens的动作块，而非单个token，提升了评论家的评估能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AC2方法在验证分数上超过了GRPO的18.5%，同时所需的解码FLOPs减少了2.5倍。这一提升主要源于AC2减少了25%的训练步骤，并且每个步骤生成的token数量也显著减少。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和自动化推理等。通过优化长序列的信用分配，AC2方法能够提高大型语言模型的训练效率和性能，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Standard language model RL algorithms credit every token of a long rollout with the same advantage determined by the terminal reward. Actor-critic methods can provide finer-grained credit assignment, but learned critics are generally considered too inaccurate to trust when training LLMs with RL. In recent works, even when a critic is present, it is used only for baseline estimation, so every trajectory must be rolled out to its terminal reward. We introduce Actor-Critic with Action Chunking (AC2) that removes the need to roll every trajectory to completion. AC2 instead assigns credit to action chunks: short continuations of prefixes of past trajectories. A learned critic scores the state reached at the end of each action chunk, allowing the policy to update without observing a terminal reward. We make critic-based credit assignment reliable through three design choices. First, we introduce local readiness which uses critic-based updates on a problem only when the critic is sufficiently accurate on that particular problem. Second, when available, we provide the critic with a reference solution from a previous successful rollout. Third, we assign credit over action chunks of 10k tokens rather than individual tokens, giving the critic a more meaningful portion of the trajectory to evaluate. We train Qwen3-4B on FineProofs-RL using AC2 and evaluate on IMO-ProofBench. AC2 exceeds GRPO's peak validation score of 18.5% using 2.5x fewer decoding FLOPs. This gain comes from two sources, (1) AC2 requires 25% fewer training steps to reach this score, and (2) each step generates fewer tokens because the policy does not need to continue every trajectory to completion. Conceptually, we demonstrate that we can remove the need to roll out every trajectory to completion, opening up a large previously unexplored design space for LLM RL algorithms.