Can an Agent Learn to Predict Its Own Failure? Outcome-Grounded Confidence Calibration in LLM Agents

📄 arXiv: 2610.18614v1 📥 PDF

作者: Ashutosh Hathidara

分类: cs.AI, cs.LG

发布日期: 2026-10-13

💡 一句话要点

提出基于结果的信心校准方法以提升LLM代理的决策能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长时间任务 信心校准 强化学习 多步决策 智能代理 结果预测

📋 核心要点

  1. 现有的强化学习方法在信心校准方面存在不足，主要是将信心与当前决策的正确性关联，未能有效预测多步任务的最终结果。
  2. 本文提出了一种基于最终结果的信心校准方法，通过GRPO方法利用任务执行组的成功标签来评分每一步的信心。
  3. 实验结果表明，经过校准的代理在多种环境中的决策信心显著提高，成功率和期望校准误差均有显著改善。

📝 摘要（中文）

控制一个行动的LLM代理意味着在长时间任务的每一步中决定是否信任其下一步行动、选择放弃或交给人类。该决策需要一个逐步的信心信号，以预测当前执行是否最终会成功。现有的强化学习方法将自我报告的信心与当前步骤的正确性进行校准。本文提出了一种方法，通过多步任务的最终结果来校准信心，利用GRPO方法，任务的执行组提供成功标签，并通过适当的评分规则对每一步的信心进行评分。在对Qwen2.5-7B代理在ALFWorld、TextWorld和WebShop环境中的离线强化学习实验中，步骤信心与任务结果的AUROC从接近随机提升至0.68-0.85，代理最自信的前10%步骤成功率约为平均水平的4.3倍。在在线强化学习中，四个校准奖励提高了早期步骤的AUROC，期望校准误差从0.42降至0.12，选择性执行在不降低任务成功率的情况下优于未训练的代理和仅格式化的RL控制。

🔬 方法详解

问题定义：本文旨在解决LLM代理在长时间任务中如何有效预测自身失败的问题。现有方法主要依赖当前步骤的正确性进行信心校准，导致无法准确反映多步任务的最终结果。

核心思路：论文提出通过多步任务的最终结果来校准代理的信心，利用GRPO方法将任务的执行组提供的成功标签作为信心评分的依据，从而提高信心的准确性和可靠性。

技术框架：整体架构包括信心信号的生成、基于成功标签的评分机制和强化学习的训练过程。主要模块包括信心评估模块、结果反馈模块和策略优化模块。

关键创新：最重要的创新在于将信心校准从单步决策扩展到多步任务的最终结果，显著提高了代理在复杂任务中的决策能力。与现有方法相比，本文方法更能反映任务的整体成功概率。

关键设计：在设计中，采用了适当的评分规则来评估每一步的信心，并设置了多个校准奖励，以优化早期步骤的AUROC和期望校准误差。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，经过校准的代理在ALFWorld环境中的早期步骤AUROC显著提高，期望校准误差从0.42降至0.12，选择性执行的成功率在不降低任务成功的情况下显著优于未训练的代理，表明该方法在实际应用中具有较高的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动驾驶、机器人控制等需要长时间决策的场景。通过提高代理的信心校准能力，可以显著提升其在复杂环境中的决策质量，减少错误决策的发生，从而提高系统的安全性和可靠性。

📄 摘要（原文）

Controlling an acting LLM agent means deciding, at each step of a long-horizon task, whether to trust its next action, abstain, or hand off to a human. That decision needs a per-step confidence signal predicting whether the current rollout will eventually succeed. The agent's own self-reported verbalized confidence is the natural candidate, but existing reinforcement learning methods calibrate it against the correctness of a decision at the current step. We propose a method to calibrate it against the eventual outcome of a multi-step episode: under GRPO, the group of rollouts for a task supplies success labels, and a proper scoring rule scores each step's confidence against the realized outcome. In offline RL on recorded trajectories of a Qwen2.5-7B agent in ALFWorld, TextWorld, and WebShop environments, the AUROC of step confidence against episode outcome rises from near chance to 0.68-0.85, and the top-10% of steps the agent is most confident about succeed ~4.3x more often than average. In online RL on the live ALFWorld agent, four calibration rewards improve early-step AUROC, expected calibration error goes from 0.42 to below 0.12, and selective execution improves over both the untrained agent and a format-only RL control, without degrading task success. We also introduce an evaluation protocol that separates episode depth, task difficulty, and attempt-level foresight, which shows where the gain lies: the trained agent recognizes from its first step which tasks it will fail, while telling a succeeding attempt from a failing one at the same task is harder, with some early-window signal emerging on TextWorld.