SpanUQ: Span-Level Uncertainty Quantification for Large Language Model Generation

📄 arXiv: 2607.05721v1 📥 PDF

作者: Yimeng Zhang, Yingying Zhuang, Ziyi Wang, Yuxuan Lu, Pei Chen, Aman Gupta, Zhe Su, Ming Tan, Zhilin Zhang, Qun Liu, Manikandarajan Ramanathan, Rajashekar Maragoud, Edward Vul, Jing Huang, Dakuo Wang

分类: cs.CL

发布日期: 2026-07-07

备注: The project page is available at https://damon-demon.github.io/SpanUQ.html

💡 一句话要点

提出SpanUQ以解决大语言模型生成中的不确定性量化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 不确定性估计 大语言模型 文本生成 SPANUQ 深度学习 自然语言处理 模型优化

📋 核心要点

  1. 现有的不确定性估计方法在粒度上存在不足，token级别缺乏语义一致性，序列级别无法有效定位错误。
  2. 本文提出Span-Level Uncertainty Estimation（SLUE），通过SPANUQ轻量级探测器实现对语义一致文本跨度的不确定性估计。
  3. 实验结果显示，SPANUQ在五个LLM基础模型上表现优异，F1得分达到0.910，超越最强基线，速度提升显著。

📝 摘要（中文）

不确定性估计对于大语言模型（LLMs）的可信部署至关重要，同时也是LLM生成自我优化的基础。然而，现有方法在粒度上存在不足：基于token的评分缺乏语义一致性，而基于序列的评分无法定位错误。本文正式提出了Span-Level Uncertainty Estimation（SLUE），旨在针对语义一致的文本跨度进行不确定性估计。为此，我们引入了SPANUQ，一个轻量级探测器，通过单次前向传播从昂贵的多样本推理中提取不确定性知识。SPANUQ采用DETR风格的跨度解码器，同时检测跨度并通过Beta分布混合模型估计其不确定性。我们构建了SPANUQ-BENCH，这是第一个包含20K提示、293K标注跨度和来自多样本声明验证的连续软标签的跨度级不确定性基准。实验表明，SPANUQ在五个LLM基础模型上始终实现最佳的跨度级不确定性质量，速度提升10-20倍。

🔬 方法详解

问题定义：本文旨在解决现有不确定性估计方法在粒度上的不足，特别是token级别和序列级别的局限性，导致无法有效进行错误定位和语义理解。

核心思路：我们提出Span-Level Uncertainty Estimation（SLUE），通过SPANUQ探测器在语义一致的文本跨度上进行不确定性估计，旨在提供更自然的粒度和更高的准确性。

技术框架：SPANUQ的整体架构包括一个DETR风格的跨度解码器，能够同时检测文本跨度并估计其不确定性。该框架通过单次前向传播从多样本推理中提取信息，避免了高计算成本。

关键创新：SPANUQ的主要创新在于其轻量级设计和有效的混合Beta分布模型，结合Beta NLL回归和对比排名目标进行训练，显著提升了不确定性估计的质量和速度。

关键设计：在技术细节上，SPANUQ使用DETR风格的解码器结构，采用混合Beta分布来建模不确定性，并通过精心设计的损失函数进行训练，以实现最佳性能。实验中，SPANUQ的F1得分达到0.910，超越了最强的启发式方法39.4%。

🖼️ 关键图片

img_0
img_1

📊 实验亮点

实验结果显示，SPANUQ在五个LLM基础模型上实现了最佳的跨度级不确定性质量，F1得分达到0.910，超越最强基线39.4%。同时，其速度提升显著，达到10-20倍，展现出优越的性能和效率。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的对话系统、文本生成和信息检索等场景。通过提供更精准的不确定性估计，SPANUQ能够提升模型在实际应用中的可靠性和用户信任度，未来可能对智能助手和自动化内容生成等领域产生深远影响。

📄 摘要（原文）

Uncertainty estimation is essential not only for the trustworthy deployment of large language models (LLMs) but also as a foundation for self-refinement in LLM generation. However, existing approaches operate at suboptimal granularities: token-level scores lack semantic coherence, while sequence-level scores fail to localize errors. We formalize Span-Level Uncertainty Estimation (SLUE), a new task that targets the natural granularity for uncertainty: semantically coherent text spans, each conveying a single assessable unit of meaning. To address this task, we introduce SPANUQ, a lightweight probe that distills the uncertainty knowledge from expensive multi-sample inference into a single forward pass over LLM hidden states. SPANUQ employs a DETR-style span decoder to simultaneously detect spans and estimate their uncertainty via a Mixture of Beta distribution, trained with a principled combination of Beta NLL regression and contrastive ranking objectives. We construct SPANUQ-BENCH, the first span-level uncertainty benchmark comprising 20K prompts, 293K annotated spans, and continuous soft labels derived from multi-sample claim verification. Experiments on five LLM backbones show that SPANUQ consistently achieves the best span-level uncertainty quality, outperforming the strongest probe baseline and all sampling-based methods while being 10-20x faster. Its DETR-based span detector attains 0.910 F1, surpassing the best heuristic by 39.4%, enabling precise error localization that sequence-level methods cannot provide. The framework generalizes across five LLMs spanning two model families.