Semantic Token Clustering for Efficient Uncertainty Quantification in Large Language Models

📄 arXiv: 2603.20161v1 📥 PDF

作者: Qi Cao, Andrew Gambardella, Takeshi Kojima, Yutaka Matsuo, Yusuke Iwasawa

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-03-20

备注: EACL 2026

💡 一句话要点

提出语义Token聚类(STC)方法，高效量化大语言模型的不确定性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 不确定性量化 语义Token聚类 嵌入聚类 单次生成

📋 核心要点

  1. 现有不确定性量化方法依赖重复采样或辅助模型，计算开销大，限制了实际应用。
  2. STC方法通过语义Token聚类，利用LLM自身编码的语义信息进行不确定性量化。
  3. 实验表明，STC在单次生成下，无需辅助模型，计算效率高，性能与SOTA方法相当。

📝 摘要（中文）

大型语言模型(LLMs)在各种任务中表现出卓越的能力。然而，其输出的真实性无法保证，并且它们过度自信的倾向进一步限制了可靠性。不确定性量化提供了一种有希望的方法来识别潜在的不可靠输出，但大多数现有方法依赖于重复采样或辅助模型，从而引入了大量的计算开销。为了解决这些限制，我们提出了一种高效的不确定性量化方法——语义Token聚类(STC)，该方法利用了LLM中固有编码的语义信息。具体来说，我们使用嵌入聚类和前缀匹配将token分组为语义一致的簇，并基于相应语义簇上聚合的概率质量来量化不确定性。我们的方法只需要单次生成，并且不依赖于辅助模型。实验结果表明，STC在显著降低计算开销的同时，实现了与最先进的基线相当的性能。

🔬 方法详解

问题定义：现有的大语言模型虽然能力强大，但其输出的真实性无法保证，并且常常过度自信。现有的不确定性量化方法，例如基于多次采样的方法，计算开销巨大，难以应用到实际场景中。因此，需要一种高效的不确定性量化方法，能够在保证性能的同时，显著降低计算成本。

核心思路：论文的核心思路是利用大语言模型自身编码的语义信息，通过对token进行语义聚类，然后基于聚类结果来估计模型的不确定性。这种方法避免了重复采样或使用额外的模型，从而降低了计算复杂度。其基本假设是，如果模型对某个语义簇内的token预测概率分布较为分散，则表明模型对该语义簇对应语义的不确定性较高。

技术框架：STC方法主要包含以下几个阶段：1) Token嵌入提取：从LLM中提取每个token的嵌入向量。2) 语义Token聚类：使用嵌入聚类算法（如K-means）将token分组为语义一致的簇。同时，利用前缀匹配进一步优化聚类结果，确保同一语义簇内的token具有相似的前缀。3) 不确定性量化：对于每个语义簇，计算该簇内所有token的概率质量之和。然后，基于概率质量的分布来量化模型的不确定性。例如，可以使用熵或者方差等指标来衡量概率质量分布的离散程度。

关键创新：STC方法的关键创新在于利用了LLM自身编码的语义信息进行不确定性量化，避免了对额外资源（如多次采样或辅助模型）的依赖。与现有方法相比，STC方法更加高效，并且能够更好地利用LLM的内在知识。此外，结合嵌入聚类和前缀匹配的语义Token聚类方法，能够更准确地捕捉token之间的语义关系。

关键设计：在语义Token聚类阶段，可以使用不同的嵌入聚类算法，例如K-means或谱聚类。前缀匹配的策略可以根据具体的任务和数据集进行调整。在不确定性量化阶段，可以使用不同的指标来衡量概率质量分布的离散程度，例如熵、方差或基尼系数。论文中可能还涉及一些超参数的设置，例如聚类的数量、前缀匹配的长度等，这些参数需要根据实验结果进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

STC方法在实验中表现出与最先进的基线方法相当的性能，同时显著降低了计算开销。具体来说，STC方法只需要单次生成，无需依赖辅助模型，因此计算效率更高。实验结果表明，STC方法在多个benchmark数据集上都取得了具有竞争力的结果，证明了其有效性和实用性。

🎯 应用场景

该研究成果可应用于各种需要评估LLM输出可靠性的场景，例如自动问答、文本生成、机器翻译等。通过量化模型的不确定性，可以帮助用户识别潜在的错误或不可靠的输出，从而提高LLM应用的安全性与可信度。此外，该方法还可以用于模型调试和改进，通过分析不确定性较高的区域，可以帮助开发者更好地理解模型的弱点，并进行针对性的优化。

📄 摘要（原文）

Large language models (LLMs) have demonstrated remarkable capabilities across diverse tasks. However, the truthfulness of their outputs is not guaranteed, and their tendency toward overconfidence further limits reliability. Uncertainty quantification offers a promising way to identify potentially unreliable outputs, but most existing methods rely on repeated sampling or auxiliary models, introducing substantial computational overhead. To address these limitations, we propose Semantic Token Clustering (STC), an efficient uncertainty quantification method that leverages the semantic information inherently encoded in LLMs. Specifically, we group tokens into semantically consistent clusters using embedding clustering and prefix matching, and quantify uncertainty based on the probability mass aggregated over the corresponding semantic cluster. Our approach requires only a single generation and does not depend on auxiliary models. Experimental results show that STC achieves performance comparable to state-of-the-art baselines while substantially reducing computational overhead.