Free Lunch for LLMs Confidence: The RL Critic Already Knows

📄 arXiv: 2610.31820v1 📥 PDF

作者: Shujin Wu, Heng Ji

分类: cs.CL

发布日期: 2026-10-22

💡 一句话要点

提出利用现有RL评论员作为LLMs信心估计器以降低数据需求

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信心估计 强化学习 大型语言模型 评论员模型 任务性能 数据效率 模型重用

📋 核心要点

  1. 现有的信心估计方法需要额外的数据和计算资源，限制了其在LLMs中的应用。
  2. 本文提出利用现有的强化学习评论员作为信心估计器，避免了额外的训练和数据需求。
  3. 实验结果表明，重用的评论员在多个领域的信心估计上表现优异，且不影响模型的任务性能。

📝 摘要（中文）

可靠的信心估计对于大型语言模型（LLMs）的可信部署至关重要，但专门的信心训练阶段需要额外的数据和计算资源。本文探讨了信心训练解决的预测问题，比较了自我和外部信心估计器。研究表明，外部模型仅通过策略的行为轨迹即可准确估计策略的信心，且与价值函数学习有深层联系。我们证明了信心估计与评论员训练的等价性，提出现有的评论员可以作为无额外训练的信心估计器使用，且不影响任务性能。实验结果显示，在多个领域中，重用的评论员在信心估计上表现最佳。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）中信心估计的可靠性问题。现有方法通常需要额外的数据和计算资源，限制了其实际应用。

核心思路：论文提出利用强化学习中的评论员模型作为信心估计器，证明了信心估计与评论员训练在预测正确性方面的等价性，从而避免了额外的训练需求。

技术框架：整体架构包括两个主要模块：一是策略模型，负责生成响应；二是评论员模型，基于策略的行为轨迹进行信心估计。

关键创新：最重要的创新在于将现有的评论员模型重用于信心估计，避免了传统方法中需要的额外训练和数据，且保持了策略的任务性能。

关键设计：在实现中，评论员模型通过策略的行为轨迹进行训练，采用了与价值函数学习相似的损失函数设计，确保了信心估计的准确性。

📊 实验亮点

实验结果显示，重用的评论员在所有的分布内拆分中都是最佳的信心估计器，并且在16个测试中有14个表现出最佳的校准效果，且没有损害任务性能。这表明该方法在信心估计上具有显著优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和自动化工具调用等。通过有效的信心估计，LLMs能够在生成过程中提供更可靠的输出，增强用户信任，推动智能助手和自动化系统的实际应用。未来，该方法可能会影响更多领域的模型训练和部署策略。

📄 摘要（原文）

Reliable confidence estimation is essential for trustworthy deployment of large language models (LLMs), but dedicated confidence training stage requires additional data and compute. We ask a fundamental question: what prediction problem does confidence training actually solve? Inspired by prior work on external confidence estimation, we compare self- and external estimators of comparable capacity trained on the same (question, response, correctness) triples. We show that an external model trained solely on a policy's behavioral traces can estimate the policy's confidence as accurately as the policy itself, without accessing the policy's internal representations. This points to a deeper connection with value function learning in reinforcement learning (RL): under a correctness-based outcome, we prove that confidence estimation and critic training are equivalent, both predicting the likelihood that a policy's response will be correct from its trajectory. A simple consequence follows: for LLMs trained with value-based RL, the existing critic can be reused as an off-the-shelf confidence estimator with no additional training or data. The policy remains unchanged, so its task performance is preserved, and the critic provides confidence throughout generation, including intermediate reasoning steps. Across math, code, tool calling, and general reasoning spanning a dozen domains, the reused critic is the best confidence estimator on every in-distribution split and the best-calibrated on 14 of 16, without hurting the task performance.