From Outcomes to Steps: Reliable Success-Aware Critic Learning for Long-Horizon Language Agents

📄 arXiv: 2610.27623v1 📥 PDF

作者: Jiaxi Liu, Shixiong Kai, Zhentao Tang, Yang Li, Yuqi Cui, Mingxuan Yuan, Junchi Yan

分类: cs.LG

发布日期: 2026-10-20

备注: 29 pages, 6 figures, 5 tables

💡 一句话要点

提出SCALE框架以解决长时间语言代理的成功预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长时间语言代理 强化学习 成功值预测 多步动作信用 策略改进

📋 核心要点

  1. 现有强化学习方法在长时间语言代理中难以有效识别中间动作对最终成功的影响，尤其是在反馈稀疏的情况下。
  2. 本文提出SCALE框架，通过引入成功值的预测，增强了传统的回报估计，帮助更好地分配中间动作的信用。
  3. 在多个基准测试中，SCALE在任务表现上超越了大多数对比基线，成功率提升幅度最高达4.1个百分点。

📝 摘要（中文）

长时间语言代理的强化学习需要在仅有轨迹级监督的情况下，识别中间动作对最终任务成功的影响。现有的批评者虽然能够预测整体回报，但在稀疏反馈和函数逼近下，难以准确分配中间决策的信用。为此，本文提出了SCALE框架，通过显式预测最终任务成功的概率，增强了传统回报估计。SCALE将成功值的变化转化为多步动作信用，并根据预测的可靠性调节其贡献，同时保留了基于token的PPO目标。实验结果表明，SCALE在五个代理基准和三个模型骨干上，显著提高了任务表现，成功率提升达到4.1个百分点。

🔬 方法详解

问题定义：本文解决的问题是如何在长时间语言代理中有效识别中间动作对最终任务成功的影响。现有方法在反馈稀疏和函数逼近的情况下，难以准确分配中间决策的信用，导致学习效果不佳。

核心思路：SCALE框架的核心思路是通过显式预测最终任务成功的概率（成功值），来增强传统的回报估计。这种设计使得代理能够更好地理解每个中间决策对最终成功的影响，从而进行更有效的策略改进。

技术框架：SCALE的整体架构包括两个主要模块：批评者和行动者。批评者在每个交互前缀中预测回报值和成功值，行动者则基于这些信息进行策略更新。成功值的变化通过成功广义优势估计（Success-GAE）转化为多步动作信用。

关键创新：SCALE的关键创新在于引入成功值的预测，解决了传统批评者在稀疏反馈下难以分配信用的问题。这一创新使得代理能够更准确地评估中间动作的价值，从而提高学习效率。

关键设计：在SCALE中，成功值的预测依赖于批评者的可靠性评估，且保留了基于token的PPO目标。关键参数设置和损失函数设计确保了模型的稳定性和收敛性，提升了批评者的估计精度和训练稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SCALE在五个代理基准和三个模型骨干上，成功率提升幅度最高达4.1个百分点，显著优于大多数对比基线。此外，批评者的估计精度和训练稳定性也得到了显著改善，验证了SCALE的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和机器人控制等。通过提高长时间语言代理的任务成功率，SCALE框架能够在复杂任务中实现更高效的决策支持，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Reinforcement learning for long-horizon language agents requires identifying whether intermediate actions make eventual task success more or less likely when supervision is available only at trajectory level. The main difficulty is that a critic with aggregate return-prediction accuracy may still fail to resolve the local value differences needed to assign credit to actions, especially under sparse feedback and function approximation. Conventional critics estimate future return, but policy improvement also depends on knowing whether each intermediate decision makes task success more or less likely. We introduce SCALE, an actor-critic framework that augments conventional return estimation with explicit prediction of eventual task success. At each interaction prefix, the critic predicts a return value and a Success Value, defined as the probability that the task will eventually be completed from that prefix. SCALE converts changes in Success Value into multi-step action credit through Success-GAE and modulates its contribution according to the estimated reliability of the predictor, while retaining the token-level PPO objective. Across five agent benchmarks and three model backbones, SCALE improves task performance over the compared RL baselines in most settings, with gains of up to 4.1 percentage points in success rate. Separate critic-learning analyses show that SCALE also improves critic estimation and training stability.