Ensemble based approach to quantifying uncertainty of LLM based classifications

📄 arXiv: 2502.08631v2 📥 PDF

作者: Srijith Rajamohan, Ahmed Salhin, Josh Frazier, Rohit Kumar, Yu-Cheng Tsai, Todd Cook

分类: cs.AI

发布日期: 2025-02-12 (更新: 2025-02-19)

💡 一句话要点

提出基于集成方法的LLM分类不确定性量化方案

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 不确定性量化 集成方法 分类 贪婪采样

📋 核心要点

  1. 现有LLM分类结果缺乏置信度评估，难以判断预测的可靠性。
  2. 通过集成方法分析LLM输出方差，量化模型对不同输入的敏感程度。
  3. 微调模型可降低词汇变化对输出的影响，提升分类确定性。

📝 摘要（中文）

大型语言模型（LLM）的输出是其内部模型参数和输入上下文窗口的函数。本文提出的假设是，在贪婪采样策略下，LLM输出的方差是模型参数知识中嵌入的概念确定性以及输入中的词汇方差的函数。微调模型可以降低模型输出对词汇输入变化的敏感性。然后，将其应用于分类问题，并提出一种概率方法来估计预测类别的确定性。

🔬 方法详解

问题定义：论文旨在解决LLM在分类任务中缺乏不确定性量化的问题。现有方法无法有效评估LLM预测结果的置信度，使得用户难以判断预测的可靠性。模型输出易受输入文本的词汇变化影响，导致预测结果不稳定。

核心思路：论文的核心思路是，通过分析LLM在贪婪采样策略下的输出方差，来量化模型对不同输入的敏感程度。假设LLM输出的方差反映了模型参数知识中嵌入的概念确定性以及输入文本的词汇方差。通过集成多个LLM的预测结果，可以更准确地估计预测类别的确定性。

技术框架：该方法首先对LLM进行微调，以降低模型输出对词汇输入变化的敏感性。然后，对于给定的输入，使用贪婪采样策略多次运行LLM，得到多个预测结果。通过分析这些预测结果的方差，估计模型对该输入的确定性。最后，将确定性估计应用于分类问题，并提出一种概率方法来估计预测类别的确定性。

关键创新：该方法最重要的创新点在于，它提出了一种基于集成方法的LLM不确定性量化方案。该方案能够有效评估LLM预测结果的置信度，并降低模型输出对词汇输入变化的敏感性。与现有方法相比，该方法更加简单有效，并且易于实现。

关键设计：关键设计包括：1) 使用贪婪采样策略生成多个预测结果；2) 通过计算预测结果的方差来估计模型对输入的确定性；3) 提出一种概率方法来估计预测类别的确定性。具体的参数设置和损失函数等技术细节在论文中没有详细描述，属于未知信息。

📊 实验亮点

论文提出了一种基于集成方法的LLM分类不确定性量化方案，通过分析LLM输出方差来估计预测类别的确定性。微调模型可以降低词汇变化对输出的影响，提升分类确定性。具体的实验结果和性能数据在摘要中未提及，属于未知信息。

🎯 应用场景

该研究成果可应用于各种需要高可靠性LLM分类结果的场景，例如医疗诊断、金融风险评估、法律文件分析等。通过量化LLM预测的不确定性，可以帮助用户更好地理解和信任LLM的预测结果，从而做出更明智的决策。该研究还有助于提高LLM的鲁棒性和可靠性，推动LLM在实际应用中的广泛应用。

📄 摘要（原文）

The output of Large Language Models (LLMs) are a function of the internal model's parameters and the input provided into the context window. The hypothesis presented here is that under a greedy sampling strategy the variance in the LLM's output is a function of the conceptual certainty embedded in the model's parametric knowledge, as well as the lexical variance in the input. Finetuning the model results in reducing the sensitivity of the model output to the lexical input variations. This is then applied to a classification problem and a probabilistic method is proposed for estimating the certainties of the predicted classes.