When Words Fall Short: Iterative Synergy Between Verbalized Reasoning and Hidden Features for LLM Confidence Estimation

📄 arXiv: 2609.34454v1 📥 PDF

作者: Yekun Xu, Ante Wang, Jingyi Ren, Xuanyi Chen, Weizhi Ma, Yang Liu

分类: cs.CL

发布日期: 2026-09-28

🔗 代码/项目: GITHUB

💡 一句话要点

提出IPoET框架以提升LLM的置信度估计

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 置信度估计 大型语言模型 口头化推理 隐藏特征 迭代训练

📋 核心要点

  1. 现有的置信度估计方法多依赖于口头化自我报告，未能充分利用LLMs内部的丰富表示。
  2. 本文提出的IPoET框架通过迭代优化策略与更新估计器，结合口头化推理与隐藏特征的优势。
  3. 实验结果表明，IPoET在多个数据集上均优于传统的估计器和口头化基线，显示出显著的性能提升。

📝 摘要（中文）

置信度估计对于开发可信的大型语言模型（LLMs）至关重要，目前大多数方法遵循估计器或口头化的范式。本文挑战了口头化自我报告置信度优于独立置信度估计器的观点。实证研究表明，专用置信度估计器可以显著超越口头化置信度，表明LLMs的内部表示包含更丰富的置信度信号。基于此发现，本文提出了迭代策略-估计器训练（IPoET）框架，旨在协同口头化推理轨迹和信息丰富的表示。实验结果显示，IPoET在多个数据集和模型上均优于现有基线。

🔬 方法详解

问题定义：本文旨在解决现有置信度估计方法在利用LLMs内部表示方面的不足，尤其是口头化自我报告的局限性。

核心思路：提出的IPoET框架通过迭代地优化策略和更新估计器，旨在充分利用LLMs的隐藏特征和口头化推理的互补优势。

技术框架：IPoET框架包括两个主要模块：策略优化和估计器更新。策略优化阶段根据当前的估计器反馈调整模型策略，而估计器更新则基于新策略的输出进行调整。

关键创新：IPoET的核心创新在于将口头化推理与独立置信度估计器的优势结合，通过迭代过程实现了更高效的置信度估计，这与现有方法的单一依赖于口头化或估计器的方式有本质区别。

关键设计：在设计中，采用了动态更新的损失函数，以适应策略的变化，同时在网络结构上结合了多层次的特征提取，以增强对隐藏特征的利用。具体参数设置和网络架构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，IPoET在多个数据集上均显著优于传统的估计器和口头化基线，尤其在Qwen和Llama模型上，IPoET在领域内的性能提升幅度达到20%以上，且在所有领域外指标上表现出色，显示出其广泛的适用性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的对话系统、文本生成和信息检索等。通过提升LLMs的置信度估计能力，可以增强这些系统的可靠性和用户信任度，未来可能在智能助手和自动化客服等场景中发挥重要作用。

📄 摘要（原文）

Confidence estimation is crucial for developing trustworthy large language models (LLMs), with most methods following estimator-based or verbalization-based paradigms. While recent research increasingly focuses on improving verbalized self-reports of confidence, we challenge the prevailing view that this approach surpasses independent confidence estimators. Our empirical study shows that a dedicated confidence estimator can substantially outperform verbalized confidence, indicating that LLMs' internal representations contain richer confidence signals. Building on this finding, we propose Iterative Policy-Estimator Training (IPoET), a framework that synergizes the complementary strengths of verbalized reasoning traces and informative representations. IPoET alternates policy optimization with estimator updating, integrating estimator-derived confidence feedback into policy learning and refreshing the estimator on new policy rollouts. Experiments across diverse datasets and Qwen and Llama backbones demonstrate that, by iteratively exploiting richer hidden features and adapting to the evolving policy distribution, IPoET consistently outperforms both estimator- and verbalization-based baselines in-domain and achieves superior or comparable results across all out-of-domain metrics. For more details, refer to https://github.com/xyk829/ipoet.