Semantic Uncertainty Quantification Needs Factual Equivalence
作者: Joseph Hoche, Quentin Guimard, Gianni Franchi
分类: cs.CL, cs.AI
发布日期: 2026-09-28
💡 一句话要点
提出一种新方法以提高语义不确定性量化的准确性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语义不确定性量化 事实等价性 对比学习 大型语言模型 自然语言处理 模型评估 多模态学习
📋 核心要点
- 现有的语义不确定性量化方法依赖于现成的操作符，导致无法准确测量答案之间的事实等价性。
- 本文提出了一种新的对比训练编码器，专注于隔离目标事实，从而提高语义不确定性量化的准确性。
- 实验结果显示，整合新操作符后，95%的评估设置性能提升，最佳变体的AUROC达到0.76，相较于最强基线的0.68有显著提高。
📝 摘要（中文）
语义不确定性量化在大型语言模型中通常依赖于一个共同模板：采样多个答案，测量它们的一致性，并将不一致视为不确定性。本文将这一模板形式化为两个独立角色：比较两个答案的操作符和将所有成对比较整合为标量的聚合器。现有方法主要在聚合方式上有所不同，而操作符通常是现成的NLI模型或通用句子编码器。我们指出，依赖现成操作符是语义不确定性量化的主要瓶颈，因为它们无法准确测量多个答案的事实等价性。为此，我们提出了一种简单的解决方案：使用对比训练的单一编码器来隔离目标事实，利用由大型语言模型生成的合成数据。将该操作符整合进现有方法后，在126个评估设置中有120个（95%）的性能得到了提升。
🔬 方法详解
问题定义：本文旨在解决现有语义不确定性量化方法中，依赖现成操作符导致的事实等价性测量不准确的问题。现有方法主要在聚合上有所不同，但操作符的选择限制了整体性能。
核心思路：我们提出了一种新的方法，通过对比训练的单一编码器来专注于目标事实的隔离，利用合成数据生成更准确的操作符，从而提高语义不确定性量化的效果。
技术框架：整体架构包括两个主要模块：首先是对比训练的编码器，用于提取答案中的目标事实；其次是聚合器，将所有成对比较结果整合为一个标量，评估答案之间的一致性。
关键创新：最重要的创新在于提出了一个专门训练的编码器，替代了传统的现成操作符，这一设计使得对事实等价性的测量更加准确，突破了现有方法的瓶颈。
关键设计：在训练过程中，我们使用了合成数据，确保数据集与评估设置不重叠，采用了对比损失函数来优化编码器的性能，确保其能够有效隔离目标事实。实验中，编码器的输出被用于替代传统的二次交叉编码器比较，显著提高了计算效率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，整合新操作符后，在126个评估设置中有120个（95%）的性能得到了提升。最佳变体的AUROC达到0.76，相较于最强基线的0.68有显著提高，同时减少了计算复杂度，提升了效率。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和多模态学习等。通过提高语义不确定性量化的准确性，能够在实际应用中更好地评估模型输出的可靠性，从而提升用户体验和系统的智能化水平。未来，该方法可能会影响更多领域的模型评估和优化。
📄 摘要（原文）
Semantic uncertainty quantification for large language models rests on a common template: sample several answers, measure how much they agree, and treat disagreement as uncertainty. We first formalize this template as two separate roles: an operator that compares two answers, and an aggregator that combines all pairwise comparisons into a scalar. Existing methods differ almost entirely in how they aggregate, while taking the operator off the shelf, typically an NLI model or a generic sentence encoder. We show that this reliance on off-the-shelf operators is the primary bottleneck of semantic UQ: they do not accurately measure factual equivalence of multiple answers to the same question. We resolve this with a deliberately simple recipe: a single encoder trained contrastively to isolate the targeted fact, utilizing synthetic data generated by an LLM and dataset both disjoint from all evaluation settings. Integrating the resulting operator into existing methods improves performance on 120 of 126 evaluation settings (95%) spanning 18 model dataset combinations across language and vision-language models. The best variant reaches 0.76 mean AUROC against 0.68 for the strongest baseline, while replacing the quadratic cross-encoder comparisons of entailment-based operators with one encoder pass per answer. The uniformity of the improvement supports the view that the operator, not the aggregator, is the limiting factor. The same operator also improves single generation token-level estimators: the norm it assigns to each token measures how much that token bears on the answer, and reweighting token log-likelihoods accordingly sharpens the estimate.