PACT: From Credit Assignment to Critic Alignment

📄 arXiv: 2609.26355v1 📥 PDF

作者: Jiayan Fu, Hang Xu, Yong Zhang, Zhaokai Luo, Yao Hu, Dongyan Zhao, Mu Chuan

分类: cs.LG, cs.AI

发布日期: 2026-09-22

💡 一句话要点

提出PACT以解决强化学习中的信用分配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 信用分配 策略梯度 演员评论者 重要性采样 模型优化 自然语言处理

📋 核心要点

  1. 现有的强化学习方法在token级信用分配上缺乏明确的数学定义，导致训练信号的关系不清晰。
  2. 本文提出了PACT方法，通过引入重要性采样修正来更好地对齐评论者与更新后的策略。
  3. 实验结果显示，PACT在多个基准测试中表现优异，平均准确率比现有方法提高了8.80到13.16个百分点。

📝 摘要（中文）

强化学习已成为大型语言模型后训练的核心组成部分，但缺乏对token级信用的普遍接受的数学定义，使其与常用训练信号的关系不明确。本文提出了完整性、前缀一致性和中立性三个正则性条件，证明它们唯一确定token级信用。这一表征为解释现有算法中的现象提供了统一基础，并指导改进的actor-critic训练过程。通过这种视角，On-Policy Distillation中的理想教师作为隐式评论者，产生与token级信用相称的期望策略梯度。实验结果表明，PACT在多个基准测试中表现优异，平均准确率达到72.87%，超越了GRPO和PPO。

🔬 方法详解

问题定义：本文旨在解决强化学习中token级信用分配缺乏明确数学定义的问题，现有方法在这一方面存在不清晰的训练信号关系。

核心思路：通过引入完整性、前缀一致性和中立性三个正则性条件，唯一确定token级信用，并基于此提出PACT方法，以改进actor-critic训练过程。

技术框架：PACT方法采用Actor-then-Critic的更新顺序，首先更新actor，然后通过重要性采样修正来训练critic，以更好地对齐评论者与策略。

关键创新：PACT的主要创新在于通过引入重要性采样修正，解决了critic与策略之间的对齐问题，这与传统方法的直接更新方式有本质区别。

关键设计：在PACT中，设计了适应性损失函数和网络结构，以确保在有限的结果奖励下实现近似信用稀疏性，并优化了中间评论者误差的处理。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

PACT在四个基准测试中的平均准确率达到72.87%，比GRPO和PPO分别提高了8.80和13.16个百分点。在SWE-bench Verified上，PACT的通过率为67.4%，超越了PPO、GRPO和SAO，显示出显著的性能提升。

🎯 应用场景

PACT方法在强化学习领域具有广泛的应用潜力，尤其是在大型语言模型的训练和优化中。通过改进的信用分配机制，PACT能够提升模型的学习效率和准确性，未来可能在自然语言处理、机器人控制等领域产生深远影响。

📄 摘要（原文）

Reinforcement learning has become a central component of large language model (LLM) post-training, yet token-level credit lacks a generally accepted mathematical definition, leaving its relationship to commonly used training signals unclear. We formulate three regularity conditions, namely Completeness, Prefix Consistency, and Neutrality, and prove that they uniquely determine token-level credit. This characterization provides a unified basis for explaining phenomena across existing algorithms and guides the development of an improved actor-critic training procedure. Through this lens, an ideal teacher in On-Policy Distillation (OPD) acts as an implicit critic, yielding an expected policy gradient proportional to that induced by token-level credit. Response-level REINFORCE Leave-One-Out (RLOO) signals match the expected policy-gradient contribution of token-level credit despite their coarser granularity. We further establish approximate credit sparsity under bounded outcome rewards and show how intermediate critic errors in Generalized Advantage Estimation (GAE) can become comparable to the underlying credit. These motivate Policy Aligned Critic Training (PACT), which adopts an Actor-then-Critic update order to apply importance sampling correction to critic training and better align the critic with the updated policy. In agentic mathematical reasoning, PACT achieves 72.87% average accuracy across four benchmarks, outperforming GRPO and PPO by 8.80 and 13.16 percentage points, respectively. On SWE-bench Verified, PACT achieves a pass rate of 67.4%, outperforming PPO, GRPO, and SAO by 2.4, 2.0, and 3.8 percentage points, respectively.