Token-Level Density-Based Uncertainty Quantification Methods for Eliciting Truthfulness of Large Language Models

📄 arXiv: 2502.14427v2 📥 PDF

作者: Artem Vazhentsev, Lyudmila Rvanova, Ivan Lazichny, Alexander Panchenko, Maxim Panov, Timothy Baldwin, Artem Shelmanov

分类: cs.CL

发布日期: 2025-02-20 (更新: 2025-04-18)

💡 一句话要点

提出基于Token密度的大语言模型不确定性量化方法，提升生成结果的真实性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 不确定性量化 大型语言模型 马氏距离 文本生成 真实性 密度估计 监督学习

📋 核心要点

  1. 现有大语言模型不确定性量化方法在生成任务中存在不足，尤其是在密度估计方面。
  2. 论文核心在于将马氏距离这一经典分类技术适配于文本生成，并提出监督学习的不确定性量化方法。
  3. 实验证明，该方法在多个数据集上显著提升了不确定性量化的准确性和计算效率，并具有良好的泛化能力。

📝 摘要（中文）

本文提出了一种基于Token级别密度的不确定性量化(UQ)方法，旨在提高大型语言模型(LLM)生成答案的真实性。现有方法主要集中于信息和一致性两种UQ方法，而密度方法在文本分类中表现出色，但在生成式LLM中效果不佳。本文将分类任务中成熟的马氏距离(MD)方法应用于文本生成，并提出了一种新的监督UQ方法。该方法从LLM的多层提取Token嵌入，计算每个Token的MD分数，并使用线性回归训练这些特征以提供鲁棒的不确定性分数。在11个数据集上的大量实验表明，该方法显著优于现有的UQ方法，为序列级别的选择性生成和声明级别的真实验证提供了准确且计算高效的不确定性分数。该方法还表现出强大的领域外泛化能力，适用于各种基于LLM的应用。

🔬 方法详解

问题定义：现有的大语言模型不确定性量化方法，如信息熵和一致性方法，在生成任务中存在局限性。密度估计方法在文本分类任务中表现良好，但直接应用于生成式LLM效果不佳。因此，需要一种更有效的不确定性量化方法，以提高LLM生成结果的真实性和可靠性。

核心思路：论文的核心思路是将马氏距离(Mahalanobis Distance, MD)这一在分类任务中广泛应用的密度估计技术，适配到文本生成任务中。通过计算每个token的马氏距离，衡量其与模型训练数据的分布差异，从而量化生成token的不确定性。此外，引入监督学习，利用标注数据训练线性回归模型，将token级别的MD分数聚合为序列级别的不确定性估计。

技术框架：该方法主要包含以下几个阶段：1) Token嵌入提取：从LLM的多个Transformer层提取每个token的嵌入向量。2) 马氏距离计算：计算每个token嵌入向量的马氏距离，衡量其与训练数据分布的距离。3) 特征聚合：将多个Transformer层的MD分数进行聚合，形成token级别的特征向量。4) 监督学习：使用标注数据训练线性回归模型，将token级别的特征向量映射为序列级别的不确定性分数。

关键创新：该方法最重要的创新点在于将马氏距离这一经典的密度估计方法成功应用于文本生成任务的不确定性量化。与现有方法相比，该方法能够更准确地捕捉生成token的分布信息，从而提供更可靠的不确定性估计。此外，引入监督学习，进一步提升了不确定性量化的准确性和鲁棒性。

关键设计：在Token嵌入提取阶段，选择多个Transformer层以捕捉不同层次的语义信息。马氏距离的计算基于训练数据的均值和协方差矩阵。线性回归模型的训练目标是最小化预测的不确定性分数与真实标签之间的差异。具体参数设置（如Transformer层数、线性回归模型的正则化系数等）通过实验进行优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在11个数据集上显著优于现有的不确定性量化方法。在序列级别的选择性生成任务中，该方法能够更准确地识别不确定性较高的token，从而提高生成结果的质量。在声明级别的真实验证任务中，该方法能够更准确地评估声明的可信度，从而提高事实核查的准确性。此外，该方法还表现出强大的领域外泛化能力。

🎯 应用场景

该研究成果可广泛应用于各种基于大语言模型的应用场景，例如：1) 提高对话系统的安全性，避免生成有害或不准确的信息。2) 提升机器翻译的质量，通过不确定性量化识别并纠正翻译错误。3) 增强文本摘要的可靠性，确保摘要内容与原文一致。4) 应用于自动问答系统，评估答案的可信度，并向用户提供更可靠的信息。

📄 摘要（原文）

Uncertainty quantification (UQ) is a prominent approach for eliciting truthful answers from large language models (LLMs). To date, information-based and consistency-based UQ have been the dominant UQ methods for text generation via LLMs. Density-based methods, despite being very effective for UQ in text classification with encoder-based models, have not been very successful with generative LLMs. In this work, we adapt Mahalanobis Distance (MD) - a well-established UQ technique in classification tasks - for text generation and introduce a new supervised UQ method. Our method extracts token embeddings from multiple layers of LLMs, computes MD scores for each token, and uses linear regression trained on these features to provide robust uncertainty scores. Through extensive experiments on eleven datasets, we demonstrate that our approach substantially improves over existing UQ methods, providing accurate and computationally efficient uncertainty scores for both sequence-level selective generation and claim-level fact-checking tasks. Our method also exhibits strong generalization to out-of-domain data, making it suitable for a wide range of LLM-based applications.