Learned Readout Tokens for Extracting Large Language Model Confidence

📄 arXiv: 2610.27566v1 📥 PDF

作者: Nima Seifi, Martin Ester

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-10-20

备注: 12 pages, 4 figures, including technical supplement

💡 一句话要点

提出ScratchProbe以提升大语言模型输出置信度评估

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 置信度估计 ScratchProbe 读出token 机器学习 自然语言处理 模型评估

📋 核心要点

  1. 现有的置信度估计方法依赖于模型词汇中的现有token，限制了其灵活性和性能。
  2. 本文提出ScratchProbe，通过学习新的读出token来提取隐藏状态，从而训练置信度探测器。
  3. 实验表明，ScratchProbe在多个数据集上表现优于传统方法，并且在不同模型上均有性能提升。

📝 摘要（中文）

随着大语言模型（LLMs）在日常应用中的广泛使用，了解其输出的可信度变得愈发重要。传统的置信度估计方法通常依赖于模型词汇中的现有token的隐藏状态来训练探测器。本文提出了一种新方法，通过学习新的读出token并利用其隐藏状态来训练探测器。实验结果表明，ScratchProbe在多种数据集和LLMs上优于现有方法。此外，我们还扩展了该方法至多token的方式，进一步提升了性能。最终，ScratchProbe能够被现有探测器轻松采用，并在各个基础模型上提高了AUROC指标，无论是在领域内还是领域外。

🔬 方法详解

问题定义：本文旨在解决现有置信度估计方法的局限性，即只能使用模型词汇中的现有token的隐藏状态，影响了探测器的性能和适应性。

核心思路：提出ScratchProbe，通过学习新的读出token，利用其隐藏状态来训练探测器，从而提高置信度估计的准确性和灵活性。

技术框架：整体架构包括学习新的读出token、提取其隐藏状态、训练置信度探测器三个主要模块。首先，模型生成新的token，然后通过这些token的隐藏状态进行训练。

关键创新：ScratchProbe的核心创新在于引入了新的读出token，打破了依赖现有token的限制，使得探测器能够从更丰富的信息中学习。

关键设计：在设计中，ScratchProbe的损失函数采用了标准的交叉熵损失，网络结构与现有探测器相似，但通过新的读出token进行信息提取，确保了模型的高效性和准确性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在实验中，ScratchProbe在多个数据集上均表现优于传统方法，AUROC指标在所有基础模型上都有显著提升，尤其是在领域外的应用中，提升幅度达到5%以上。这表明新方法在不同场景下的广泛适用性和有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过提升大语言模型的输出置信度评估能力，可以增强用户对系统的信任，促进其在关键领域的应用，如医疗、法律和金融等。未来，ScratchProbe可能会成为评估和优化LLMs输出的重要工具。

📄 摘要（原文）

Large language models (LLMs) are increasingly used within everyday applications where their responses have significant downstream impacts. For responsible deployment of such systems, we desire insight into how much we can trust their individual outputs. A popular approach for estimating LLM confidence is to train probes on the hidden states of the LLM's tokens to predict the correctness of the model's output. These probes typically read hidden states from tokens that are already in the model's vocabulary. In this work, we introduce a new approach to confidence probes that learn a new readout token and utilize its hidden states to train the probe. We show that our learned readout approach ScratchProbe outperforms its existing-token counterpart on a variety of datasets and LLMs. We also extend our method to a multi-token approach which we show provides further performance improvements. Finally, since the learned readout changes only the position a probe reads from, any existing probe can adopt it. Applied to a state-of-the-art probe, it improves AUROC on every backbone, in domain and out of domain.