Large Language Model Confidence Estimation via Black-Box Access

📄 arXiv: 2406.04370v4 📥 PDF

作者: Tejaswini Pedapati, Amit Dhurandhar, Soumya Ghosh, Soham Dan, Prasanna Sattigeri

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-06-01 (更新: 2025-07-01)

备注: Accepted to TMLR 2025

💡 一句话要点

提出一种黑盒LLM置信度估计框架，提升模型信任度评估。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 置信度估计 黑盒访问 可解释性 零样本学习

📋 核心要点

  1. 现有方法难以有效评估大型语言模型响应的置信度，限制了对模型整体信任度的评估。
  2. 该论文提出一种基于黑盒访问的置信度估计框架，通过设计新特征并训练可解释模型来实现。
  3. 实验表明，该框架在多个LLM和任务上均优于基线方法，且置信度模型具有跨LLM的零样本泛化能力。

📝 摘要（中文）

本文探讨了仅通过黑盒查询访问来估计大型语言模型(LLM)响应置信度的问题。我们提出了一个简单且可扩展的框架，该框架设计了新的特征，并在此基础上训练一个可解释的模型（即逻辑回归）来估计置信度。实验结果表明，我们的框架能够有效估计Flan-ul2、Llama-13b、Mistral-7b和GPT-4在四个基准问答任务以及Pegasus-large和BART-large在两个基准摘要任务中的置信度，在某些情况下，其AUROC指标甚至超过基线方法10%以上。此外，我们可解释的方法能够深入了解预测置信度的特征，从而发现一个有趣且有用的结论：为一个LLM构建的置信度模型可以零样本泛化到其他LLM在给定数据集上的表现。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在生成文本时，如何有效评估其输出结果的置信度问题。现有方法通常需要访问模型的内部参数或训练数据，这在实际应用中往往不可行。因此，如何在仅有黑盒访问权限的情况下，准确估计LLM的置信度成为一个挑战。现有方法在黑盒场景下效果不佳，无法提供可靠的置信度评估，限制了LLM在安全敏感场景中的应用。

核心思路：论文的核心思路是通过设计一系列与模型输出相关的特征，并利用这些特征训练一个可解释的置信度估计模型。该模型无需访问LLM的内部参数，仅通过查询LLM并分析其输出结果即可进行置信度评估。通过可解释的模型，可以了解哪些特征对置信度预测起关键作用，从而更好地理解LLM的行为。

技术框架：整体框架包含以下几个主要步骤：1) 收集LLM对给定输入生成的响应；2) 提取与响应相关的特征，例如token概率、困惑度、一致性等；3) 使用提取的特征训练一个可解释的置信度估计模型，例如逻辑回归；4) 使用训练好的模型预测LLM对新输入的响应的置信度。

关键创新：该论文的关键创新在于提出了一种完全基于黑盒访问的LLM置信度估计方法，无需访问模型内部参数或训练数据。此外，通过设计 novel 的特征工程，使得简单的逻辑回归模型也能取得良好的置信度估计效果。更重要的是，实验结果表明，为一个LLM训练的置信度模型可以零样本泛化到其他LLM上，这表明该方法具有很强的通用性和泛化能力。

关键设计：论文中使用的特征包括：1) 基于token概率的特征，例如平均token概率、最小token概率等；2) 基于困惑度的特征，用于衡量模型生成文本的流畅程度；3) 基于一致性的特征，通过对同一输入进行多次查询，分析LLM输出结果的一致性。置信度估计模型采用逻辑回归，因为它具有良好的可解释性，可以清晰地了解哪些特征对置信度预测起关键作用。损失函数采用标准的交叉熵损失函数。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，该框架在多个基准数据集和LLM上均取得了显著的性能提升。例如，在某些问答任务中，该方法的AUROC指标超过基线方法10%以上。更重要的是，实验证明，为一个LLM训练的置信度模型可以零样本泛化到其他LLM上，这表明该方法具有很强的通用性和泛化能力。

🎯 应用场景

该研究成果可广泛应用于各种需要评估LLM输出可靠性的场景，例如智能客服、自动摘要、机器翻译等。通过提供置信度估计，可以帮助用户更好地判断LLM生成内容的质量，从而提高人机交互的效率和安全性。此外，该方法还可以用于检测LLM生成的虚假信息或恶意内容，降低其潜在风险。

📄 摘要（原文）

Estimating uncertainty or confidence in the responses of a model can be significant in evaluating trust not only in the responses, but also in the model as a whole. In this paper, we explore the problem of estimating confidence for responses of large language models (LLMs) with simply black-box or query access to them. We propose a simple and extensible framework where, we engineer novel features and train a (interpretable) model (viz. logistic regression) on these features to estimate the confidence. We empirically demonstrate that our simple framework is effective in estimating confidence of Flan-ul2, Llama-13b, Mistral-7b and GPT-4 on four benchmark Q\&A tasks as well as of Pegasus-large and BART-large on two benchmark summarization tasks with it surpassing baselines by even over $10\%$ (on AUROC) in some cases. Additionally, our interpretable approach provides insight into features that are predictive of confidence, leading to the interesting and useful discovery that our confidence models built for one LLM generalize zero-shot across others on a given dataset.