Language Model Uncertainty Quantification with Attention Chain
作者: Yinghao Li, Rushi Qiang, Lama Moukheiber, Chao Zhang
分类: cs.CL
发布日期: 2025-03-24 (更新: 2025-08-07)
备注: 36 pages, 7 figures, 36 tables
💡 一句话要点
提出UQAC方法，通过注意力链高效量化LLM在复杂推理中的不确定性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 不确定性量化 大型语言模型 注意力机制 复杂推理 边缘概率 注意力链
📋 核心要点
- 现有不确定性量化方法难以处理LLM中涉及复杂推理步骤的问题，因为推理空间巨大，直接边缘化不可行。
- UQAC通过构建“注意力链”来缩小推理空间，该链包含对最终答案至关重要的token，从而实现高效的边缘化近似。
- 实验表明，UQAC在多个推理基准上能够提供可靠的不确定性量化估计，同时保持较高的计算效率。
📝 摘要（中文）
准确量化大型语言模型（LLM）预测的不确定性对于判断其答案的可靠性至关重要。现有研究主要集中在简短、可直接回答且具有封闭形式输出的问题（例如，多项选择题）。然而，在LLM响应中包含中间推理步骤变得越来越重要。这种复杂性增加了不确定性量化（UQ）的难度，因为答案token的概率以先前推理token的巨大空间为条件。直接边缘化是不可行的，并且依赖性会膨胀概率估计，导致UQ过度自信。为了解决这个问题，我们提出UQAC，这是一种有效的方法，它将推理空间缩小到可处理的大小以进行边缘化。UQAC迭代地构建一个“注意力链”，该链由通过回溯过程被认为是最终答案“语义上至关重要”的token组成。从答案token开始，它使用注意力权重来识别最具影响力的前身，然后迭代此过程直到到达输入token。生成的链通过相似性过滤和概率阈值进一步细化，从而减少推理空间，从而有助于近似边缘答案token概率。我们在具有高级开源LLM的多个推理基准上验证了UQAC，证明它可以始终如一地提供具有高计算效率的可靠UQ估计。
🔬 方法详解
问题定义：现有的大型语言模型不确定性量化方法，在面对需要复杂推理的问题时，由于推理步骤token数量庞大，导致概率估计过度自信。直接边缘化计算复杂度过高，难以有效量化模型的不确定性。因此，如何高效且准确地量化LLM在复杂推理场景下的不确定性是一个关键问题。
核心思路：UQAC的核心思路是通过注意力机制，从答案token出发，反向追踪对答案影响最大的token，构建一个精简的“注意力链”。这个链条包含了推理过程中最关键的语义信息，从而将原本巨大的推理空间缩小到一个可处理的范围，使得边缘化近似计算成为可能。
技术框架：UQAC方法主要包含以下几个阶段： 1. 注意力链构建：从答案token开始，利用注意力权重，迭代地选择对当前token影响最大的前序token，直到到达输入token。 2. 链条精简：通过相似性过滤和概率阈值，进一步去除注意力链中冗余或不重要的token，减少计算量。 3. 边缘概率近似：在精简后的注意力链上，计算答案token的边缘概率，从而得到不确定性量化估计。
关键创新：UQAC的关键创新在于利用注意力机制构建并精简“注意力链”，从而将复杂的推理过程简化为一个可处理的子集。与直接边缘化或采样方法相比，UQAC避免了对整个推理空间进行计算，显著提高了计算效率，同时保证了不确定性量化的准确性。
关键设计： 1. 注意力权重选择：使用LLM的注意力头权重来确定token之间的依赖关系，选择权重最高的token作为链条的组成部分。 2. 相似性过滤：计算token之间的语义相似度，去除相似度较高的冗余token。 3. 概率阈值：设定一个概率阈值，去除概率低于该阈值的token，进一步精简链条。 4. 边缘概率计算：使用精简后的注意力链，近似计算答案token的边缘概率，例如使用蒙特卡洛方法。
🖼️ 关键图片
📊 实验亮点
实验结果表明，UQAC在多个推理基准测试中，能够提供更可靠的不确定性量化估计，并且计算效率显著高于现有方法。具体而言，UQAC在保持较高准确性的前提下，计算速度提升了多个数量级，使得在实际应用中对LLM进行不确定性量化成为可能。
🎯 应用场景
该研究成果可应用于各种需要LLM进行复杂推理的场景，例如医疗诊断、金融分析、法律咨询等。通过准确量化LLM的不确定性，可以帮助用户更好地评估模型输出的可靠性，从而做出更明智的决策。此外，该方法还可以用于提高LLM的鲁棒性和安全性，避免模型在不确定性较高的情况下给出错误的答案。
📄 摘要（原文）
Accurately quantifying a large language model's (LLM) predictive uncertainty is crucial for judging the reliability of its answers. While most existing research focuses on short, directly answerable questions with closed-form outputs (e.g., multiple-choice), involving intermediate reasoning steps in LLM responses is increasingly important. This added complexity complicates uncertainty quantification (UQ) because the probabilities assigned to answer tokens are conditioned on a vast space of preceding reasoning tokens. Direct marginalization is infeasible, and the dependency inflates probability estimates, causing overconfidence in UQ. To address this, we propose UQAC, an efficient method that narrows the reasoning space to a tractable size for marginalization. UQAC iteratively constructs an "attention chain" of tokens deemed "semantically crucial" to the final answer via a backtracking procedure. Starting from the answer tokens, it uses attention weights to identify the most influential predecessors, then iterates this process until reaching the input tokens. The resulting chain is further refined with similarity filtering and probability thresholding, which reduce the reasoning space, facilitating the approximation of the marginal answer token probabilities. We validate UQAC on multiple reasoning benchmarks with advanced open-source LLMs, demonstrating that it consistently delivers reliable UQ estimates with high computational efficiency.