Clustered Self-Assessment: A Simple yet Effective Method for Uncertainty Quantification in Large Language Models
作者: Qi Cao, Takeshi Kojima, Andrew Gambardella, Helinyi Peng, Yutaka Matsuo, Yusuke Iwasawa
分类: cs.CL, cs.AI, cs.LG
发布日期: 2026-06-02
备注: Findings of ACL 2026
💡 一句话要点
提出聚类自评估方法以解决大语言模型的不确定性量化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 不确定性量化 大型语言模型 自评估方法 聚类技术 多项选择题
📋 核心要点
- 现有的不确定性量化方法依赖间接信号，难以解释且未充分利用模型自我评估能力。
- 提出通过聚类采样生成并将其转化为多项选择题的方式来量化不确定性。
- 实验结果显示，该方法在多个模型和数据集上均优于基线，且仅需少量样本即可实现高效性能。
📝 摘要（中文）
大型语言模型（LLMs）在多种任务中表现出色，但常常生成看似合理但实际上不准确的回答。缺乏明确的不确定性估计使得用户难以判断模型输出的可靠性。现有的不确定性量化方法通常依赖间接信号，如采样生成的熵，这些信号难以解释且未能充分利用模型自我评估不确定性的能力。本文提出了一种简单而有效的自评估方法，通过将采样生成分组为语义上不同的聚类，将其转换为结构化的多项选择题答案选项，并利用模型对每个选项分配的概率作为置信度估计。实验表明，该方法在多个模型和数据集上均优于基线方法，且仅需两个额外样本即可实现竞争性性能，展示了其有效性和高效性。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在生成输出时缺乏明确不确定性估计的问题。现有方法通常依赖间接信号，导致用户难以判断模型输出的可靠性。
核心思路：提出的自评估方法通过将采样生成分组为语义上不同的聚类，转化为多项选择题，利用模型对每个选项的概率作为置信度估计，从而更好地量化不确定性。
技术框架：整体流程包括三个主要阶段：首先对生成的文本进行聚类；其次将聚类结果转化为多项选择题；最后利用模型对每个选项的概率进行评估。
关键创新：最重要的创新在于通过聚类方法直接利用模型的输出进行自我评估，显著提高了不确定性量化的准确性和可解释性，与传统方法相比具有本质区别。
关键设计：在设计中，聚类算法的选择、样本数量的设置以及多项选择题的结构都是关键因素，确保了模型能够有效地评估其输出的置信度。具体的损失函数和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的方法在多个模型和数据集上均优于基线方法，且在仅增加两个样本的情况下，便能实现竞争性的性能。这一结果展示了方法的高效性和有效性，具有重要的实践意义。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和自动问答等。通过提供更可靠的不确定性估计，用户可以更好地理解和信任模型的输出，从而在实际应用中提升决策质量。未来，该方法可能对增强模型的可解释性和用户体验产生积极影响。
📄 摘要（原文）
Large language models (LLMs) demonstrate remarkable performance across diverse tasks, but they often generate responses that appear plausible while being factually incorrect. This problem is compounded by the lack of explicit uncertainty estimates, which makes it difficult for users to judge the reliability of model outputs. Existing uncertainty quantification methods typically rely on indirect signals, such as entropy across sampled generations. These signals can be difficult to interpret and do not fully leverage the model's ability to assess its own uncertainty. We propose a simple yet effective self-assessment method for uncertainty quantification in LLMs. Our approach groups sampled generations into semantically distinct clusters, converts them into answer options in a structured multiple-choice question, and uses the probability assigned by the LLM to each option as a confidence estimate. Experiments across multiple models and datasets show that our method consistently outperforms baseline approaches. Notably, it achieves competitive performance with as few as two additional samples, demonstrating both its effectiveness and efficiency.