Decoding Uncertainty: The Impact of Decoding Strategies for Uncertainty Estimation in Large Language Models

📄 arXiv: 2509.16696v1 📥 PDF

作者: Wataru Hashimoto, Hidetaka Kamigaito, Taro Watanabe

分类: cs.CL, cs.LG

发布日期: 2025-09-20

备注: Accepted at EMNLP 2025 Findings

💡 一句话要点

对比搜索提升大语言模型不确定性估计的有效性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 不确定性估计 解码策略 对比搜索 偏好对齐 监督微调 文本生成

📋 核心要点

  1. 现有方法在评估大型语言模型不确定性时，忽略了解码策略的影响，可能导致评估结果不准确。
  2. 该研究探索不同解码策略对LLM不确定性估计的影响，旨在找到更有效的解码策略以提升不确定性评估的准确性。
  3. 实验结果表明，对比搜索在偏好对齐的LLM中能产生更优的不确定性估计，但在仅经过监督微调的模型中效果不稳定。

📝 摘要（中文）

解码策略会影响语言模型输出的概率分布，进而影响生成质量和不确定性。本研究探讨了解码策略对大型语言模型（LLM）不确定性估计的影响。实验表明，对比搜索（Contrastive Search）能够减轻重复生成，从而在一系列偏好对齐的LLM中产生更好的不确定性估计。相比之下，当模型仅经过监督微调（SFT）而没有显式对齐时，这些策略的优势有时会发生分歧。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）不确定性估计方法通常忽略了解码策略的影响。不同的解码策略会改变模型输出的概率分布，进而影响不确定性的评估。因此，如何选择合适的解码策略以提升LLM不确定性估计的准确性是一个关键问题。

核心思路：论文的核心思路是通过实验对比不同的解码策略（如对比搜索、贪婪解码等）在LLM不确定性估计上的表现，从而找到能够产生更可靠不确定性估计的解码策略。对比搜索通过惩罚与已生成token相似的token，从而减轻重复生成，可能有助于提升不确定性估计的准确性。

技术框架：该研究主要采用实验对比的方法。首先，选择一系列具有代表性的LLM，包括经过偏好对齐的模型和仅经过监督微调的模型。然后，使用不同的解码策略生成文本，并计算相应的不确定性指标。最后，对比不同解码策略下不确定性指标的表现，分析其对不确定性估计的影响。

关键创新：该研究的关键创新在于关注了解码策略对LLM不确定性估计的影响，并发现对比搜索在偏好对齐的LLM中能够产生更好的不确定性估计。这为提升LLM不确定性评估的准确性提供了一种新的思路。

关键设计：实验中使用了多种解码策略，包括贪婪解码、束搜索、对比搜索等。不确定性指标的选择可能包括模型输出概率的熵、方差等。具体的参数设置（如对比搜索的惩罚系数）需要根据实验结果进行调整。

📊 实验亮点

实验结果表明，对比搜索在偏好对齐的LLM中，平均而言能够产生更好的不确定性估计。然而，在仅经过监督微调的模型中，不同解码策略的优势并不稳定，这表明模型对齐方式也会影响解码策略的选择。具体的不确定性指标提升幅度未知，需要在论文中查找。

🎯 应用场景

该研究成果可应用于对LLM生成内容可靠性要求较高的场景，例如医疗诊断、金融风控等。通过选择合适的解码策略，可以更准确地评估LLM生成内容的不确定性，从而辅助决策者做出更明智的判断。此外，该研究也有助于提升LLM在开放域对话、知识问答等任务中的可靠性和安全性。

📄 摘要（原文）

Decoding strategies manipulate the probability distribution underlying the output of a language model and can therefore affect both generation quality and its uncertainty. In this study, we investigate the impact of decoding strategies on uncertainty estimation in Large Language Models (LLMs). Our experiments show that Contrastive Search, which mitigates repetition, yields better uncertainty estimates on average across a range of preference-aligned LLMs. In contrast, the benefits of these strategies sometimes diverge when the model is only post-trained with supervised fine-tuning, i.e. without explicit alignment.