Uncertainty Quantification and Confidence Calibration in Large Language Models: A Survey

📄 arXiv: 2503.15850v2 📥 PDF

作者: Xiaoou Liu, Tiejin Chen, Longchao Da, Chacha Chen, Zhen Lin, Hua Wei

分类: cs.CL

发布日期: 2025-03-20 (更新: 2025-06-03)

💡 一句话要点

针对大语言模型不确定性量化与置信度校准的综述研究

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 不确定性量化 置信度校准 可靠性 综述

📋 核心要点

  1. 大语言模型虽然强大，但其输出的可靠性是关键问题，它们可能产生看似合理但错误的回答。
  2. 论文提出一种新的不确定性量化（UQ）分类法，从计算效率和不确定性维度对现有方法进行分类。
  3. 论文评估了现有UQ技术在LLM上的应用，并指出了可扩展、可解释和鲁棒的UQ方法的需求。

📝 摘要（中文）

大语言模型（LLMs）在文本生成、推理和决策方面表现出色，使其能够在医疗、法律和交通等高风险领域得到应用。然而，它们的可靠性是一个主要问题，因为它们经常产生看似合理但不正确的响应。不确定性量化（UQ）通过估计输出的置信度来增强可信度，从而实现风险缓解和选择性预测。然而，由于计算约束和解码不一致性，传统的UQ方法难以应用于LLM。此外，LLM引入了独特的不确定性来源，例如输入歧义、推理路径发散和解码随机性，这些不确定性超出了经典的偶然不确定性和认知不确定性。为了解决这个问题，我们引入了一种新的分类法，该分类法根据计算效率和不确定性维度（输入、推理、参数和预测不确定性）对UQ方法进行分类。我们评估了现有技术，评估了它们的实际应用性，并确定了开放的挑战，强调需要可扩展、可解释和鲁棒的UQ方法来提高LLM的可靠性。

🔬 方法详解

问题定义：大语言模型虽然在各种任务中表现出色，但其输出的可靠性存在问题，尤其是在高风险领域。现有的不确定性量化方法难以直接应用于大语言模型，主要痛点在于计算成本高昂、解码过程不一致，以及缺乏对大语言模型特有不确定性来源的有效建模，例如输入歧义、推理路径发散和解码随机性。

核心思路：论文的核心思路是对现有的大语言模型不确定性量化方法进行系统性的梳理和分类，并从计算效率和不确定性维度两个方面进行分析。通过这种分类，可以更清晰地了解不同方法的优缺点，并为未来的研究方向提供指导。同时，论文强调了需要开发可扩展、可解释和鲁棒的UQ方法，以提高LLM的可靠性。

技术框架：论文构建了一个新的不确定性量化方法分类框架，主要包括以下几个方面：首先，根据计算效率对方法进行分类，区分高效和低效的方法。其次，根据不确定性的来源进行分类，包括输入不确定性、推理不确定性、参数不确定性和预测不确定性。最后，对现有方法进行评估，并分析其在实际应用中的效果。

关键创新：论文的关键创新在于提出了一个针对大语言模型不确定性量化的新分类法，该分类法综合考虑了计算效率和不确定性维度。与以往的分类方法相比，该分类法更加全面和细致，能够更好地反映不同方法的特点和适用范围。此外，论文还强调了需要关注大语言模型特有的不确定性来源，并开发相应的量化方法。

关键设计：论文主要是一个综述性质的工作，没有提出新的算法或模型。关键设计在于对现有方法的分类和评估标准。例如，在评估计算效率时，需要考虑方法的计算复杂度和运行时间。在评估不确定性量化效果时，需要考虑方法的准确性和鲁棒性。此外，论文还强调了可解释性的重要性，即需要能够理解模型做出特定预测的原因。

📊 实验亮点

该论文对现有的大语言模型不确定性量化方法进行了全面的综述和分类，并指出了当前研究的不足之处和未来的研究方向。通过对现有方法的评估，论文强调了需要开发可扩展、可解释和鲁棒的UQ方法，以提高LLM的可靠性。虽然没有提供具体的性能数据，但该综述为未来的研究提供了重要的指导。

🎯 应用场景

该研究成果可应用于医疗、法律、金融等高风险领域，提升大语言模型在这些领域的应用可靠性。通过量化模型的不确定性，可以帮助用户更好地理解模型的预测结果，并做出更明智的决策。未来的研究可以集中在开发更高效、更鲁棒的不确定性量化方法，以及探索如何将这些方法应用于更广泛的实际问题。

📄 摘要（原文）

Large Language Models (LLMs) excel in text generation, reasoning, and decision-making, enabling their adoption in high-stakes domains such as healthcare, law, and transportation. However, their reliability is a major concern, as they often produce plausible but incorrect responses. Uncertainty quantification (UQ) enhances trustworthiness by estimating confidence in outputs, enabling risk mitigation and selective prediction. However, traditional UQ methods struggle with LLMs due to computational constraints and decoding inconsistencies. Moreover, LLMs introduce unique uncertainty sources, such as input ambiguity, reasoning path divergence, and decoding stochasticity, that extend beyond classical aleatoric and epistemic uncertainty. To address this, we introduce a new taxonomy that categorizes UQ methods based on computational efficiency and uncertainty dimensions (input, reasoning, parameter, and prediction uncertainty). We evaluate existing techniques, assess their real-world applicability, and identify open challenges, emphasizing the need for scalable, interpretable, and robust UQ approaches to enhance LLM reliability.