Estimating Semantic Alphabet Size for LLM Uncertainty Quantification

📄 arXiv: 2509.14478v1 📥 PDF

作者: Lucas H. McCabe, Rimon Melamed, Thomas Hartvigsen, H. Howie Huang

分类: cs.CL, cs.LG

发布日期: 2025-09-17

💡 一句话要点

提出改进的语义字母表大小估计器，提升LLM不确定性量化的准确性和可解释性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 不确定性量化 语义熵 幻觉检测 语义字母表大小估计

📋 核心要点

  1. 现有基于采样的LLM不确定性量化方法计算成本高昂，难以在实际应用中推广。
  2. 论文提出一种改进的语义字母表大小估计器，用于校正离散语义熵，从而更准确地估计LLM的不确定性。
  3. 实验表明，该方法在LLM幻觉检测方面表现优异，且保持了高度的可解释性，优于现有方法。

📝 摘要（中文）

许多用于量化大型语言模型（LLM）不确定性的黑盒技术依赖于重复的LLM采样，这在计算上可能非常昂贵。因此，实际应用需要从少量样本中进行可靠的估计。语义熵（SE）是一种流行的基于样本的不确定性估计器，其离散公式对于黑盒设置很有吸引力。最近语义熵的扩展在改进LLM幻觉检测方面表现出优势，但使用了较少可解释的方法，并引入了额外的超参数。因此，我们重新审视了规范的离散语义熵估计器，发现它低估了“真实”的语义熵，正如理论所预期的那样。我们提出了一种改进的语义字母表大小估计器，并说明使用它来调整离散语义熵以进行样本覆盖，可以在我们感兴趣的设置中获得更准确的语义熵估计。此外，我们提出的字母表大小估计器能够很好地标记不正确的LLM响应，甚至优于最近表现最佳的方法，并且具有高度可解释性的优点。

🔬 方法详解

问题定义：现有基于语义熵的LLM不确定性量化方法，特别是离散语义熵估计器，在样本量较少时会低估真实的语义熵，导致不准确的不确定性评估。同时，一些改进的语义熵方法虽然提高了性能，但引入了额外的超参数，降低了可解释性，增加了调参难度。

核心思路：论文的核心思路是改进语义字母表大小的估计，通过更准确地估计语义空间的大小，来校正离散语义熵的偏差。核心在于认识到离散语义熵的低估源于对语义空间覆盖不足，因此需要更准确地估计语义字母表的大小，从而对语义熵进行修正。

技术框架：该方法主要包含以下几个阶段：1) 从LLM中采样生成多个文本样本；2) 使用预训练的语义编码器（如Sentence-BERT）将文本样本编码为语义向量；3) 提出新的语义字母表大小估计器，估计语义空间的大小；4) 使用估计的语义字母表大小来调整离散语义熵，得到校正后的语义熵估计值。

关键创新：论文的关键创新在于提出了一个改进的语义字母表大小估计器。该估计器能够更准确地反映LLM生成的文本样本所覆盖的语义空间大小，从而更有效地校正离散语义熵的偏差。与现有方法相比，该方法在提高不确定性量化准确性的同时，保持了高度的可解释性，避免了引入额外的超参数。

关键设计：具体的字母表大小估计器设计细节未知，论文中可能涉及具体的数学公式和算法实现。推测可能利用了样本的语义向量分布信息，例如向量之间的距离、密度等，来估计语义空间的大小。此外，如何将估计的字母表大小有效地融入到离散语义熵的计算中，也是一个关键的设计点。具体参数设置和损失函数未知。

📊 实验亮点

论文提出的改进语义字母表大小估计器，在LLM幻觉检测任务中表现出色，能够有效识别不正确的LLM响应，性能优于或至少与当前最优方法持平。更重要的是，该方法保持了高度的可解释性，无需额外的超参数调整，更易于实际应用。

🎯 应用场景

该研究成果可应用于各种需要评估LLM输出可靠性的场景，例如：自动问答系统、文本摘要生成、机器翻译等。通过准确量化LLM的不确定性，可以提高系统的鲁棒性和安全性，避免因LLM产生错误或幻觉而导致的不良后果。该方法还可用于评估不同LLM的可靠性，为模型选择提供依据。

📄 摘要（原文）

Many black-box techniques for quantifying the uncertainty of large language models (LLMs) rely on repeated LLM sampling, which can be computationally expensive. Therefore, practical applicability demands reliable estimation from few samples. Semantic entropy (SE) is a popular sample-based uncertainty estimator with a discrete formulation attractive for the black-box setting. Recent extensions of semantic entropy exhibit improved LLM hallucination detection, but do so with less interpretable methods that admit additional hyperparameters. For this reason, we revisit the canonical discrete semantic entropy estimator, finding that it underestimates the "true" semantic entropy, as expected from theory. We propose a modified semantic alphabet size estimator, and illustrate that using it to adjust discrete semantic entropy for sample coverage results in more accurate semantic entropy estimation in our setting of interest. Furthermore, our proposed alphabet size estimator flags incorrect LLM responses as well or better than recent top-performing approaches, with the added benefit of remaining highly interpretable.