Pretrained LLMs Learn Multiple Types of Uncertainty

📄 arXiv: 2505.21218v1 📥 PDF

作者: Roi Cohen, Omri Fahn, Gerard de Melo

分类: cs.CL, cs.AI

发布日期: 2025-05-27

💡 一句话要点

研究表明预训练LLM在未明确训练下已能捕捉多种不确定性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 不确定性感知 预训练模型 幻觉问题 潜在空间 指令调优 知识表示

📋 核心要点

  1. 大型语言模型虽然强大，但仍存在“幻觉”问题，会生成不准确的信息，因此需要研究其不确定性感知能力。
  2. 该研究探索了预训练LLM在潜在空间中捕捉多种不确定性的能力，无需额外训练即可实现。
  3. 实验表明，LLM捕捉到的不同类型的不确定性可用于预测模型在特定任务中的正确性，且统一不确定性类型有助于提升预测准确性。

📝 摘要（中文）

大型语言模型（LLM）因其能够捕捉真实世界知识而在众多下游任务中表现出色。然而，尽管取得了显著进展，这些模型仍然容易产生幻觉，输出不希望出现的且与事实不符的文本。本研究探讨了LLM在没有明确训练的情况下捕捉不确定性的能力。研究表明，如果将不确定性视为模型潜在空间中的线性概念，那么即使仅经过预训练，模型也可能已经捕捉到了这种不确定性。此外，研究还发现，LLM似乎能够捕捉几种不同类型的不确定性，每种不确定性都可用于预测特定任务或基准的正确性。最后，研究表明，使用指令调优或[IDK]-token调优将不确定性类型统一为单一类型，有助于模型进行正确性预测。

🔬 方法详解

问题定义：大型语言模型虽然在很多任务上表现出色，但仍然存在生成不准确信息的“幻觉”问题。现有的方法通常需要针对特定任务进行微调才能缓解这个问题，但缺乏对预训练模型本身是否具备不确定性感知能力的深入研究。因此，该论文旨在研究预训练LLM在没有明确训练的情况下，是否能够捕捉到不同类型的不确定性，以及这些不确定性是否能够用于预测模型的正确性。

核心思路：该论文的核心思路是将不确定性视为LLM潜在空间中的线性概念。通过分析模型在不同任务上的输出，并结合其潜在空间中的表示，来识别和提取与不同类型不确定性相关的特征。这种方法无需对模型进行额外的训练，而是直接利用预训练模型已经学习到的知识。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 定义不同类型的不确定性，例如认知不确定性、数据不确定性等；2) 针对不同的任务和数据集，收集LLM的输出结果；3) 提取LLM在生成这些输出时的潜在空间表示；4) 使用线性模型或其他方法，将潜在空间表示与不同类型的不确定性进行关联；5) 评估提取的不确定性特征在预测模型正确性方面的效果。

关键创新：该论文的关键创新在于发现预训练LLM在没有明确训练的情况下，已经能够捕捉到多种类型的不确定性。这表明LLM在预训练阶段已经学习到了一些关于世界知识的不确定性信息，而这些信息可以被用于提高模型在下游任务中的表现。此外，该研究还提出了一种基于潜在空间表示的不确定性提取方法，该方法可以有效地识别和提取与不同类型不确定性相关的特征。

关键设计：该研究的关键设计包括：1) 使用不同的任务和数据集来评估LLM的不确定性感知能力，以确保结果的泛化性；2) 使用线性模型来关联潜在空间表示和不确定性，以简化分析过程；3) 评估不同类型的不确定性特征在预测模型正确性方面的效果，以确定哪些特征是最有用的；4) 探索使用指令调优或[IDK]-token调优来统一不同类型的不确定性，以提高预测准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，预训练LLM确实能够捕捉到多种类型的不确定性，并且这些不确定性可以用于预测模型在特定任务中的正确性。研究还发现，使用指令调优或[IDK]-token调优将不确定性类型统一为单一类型，有助于提高预测准确性。此外，模型规模的扩大对捕捉不确定性的能力没有显著影响。

🎯 应用场景

该研究成果可应用于提升LLM在各种下游任务中的可靠性和可信度，例如问答系统、文本摘要和机器翻译。通过利用模型自身的不确定性感知能力，可以减少“幻觉”现象，提高生成内容的准确性和一致性。此外，该研究还可以为开发更安全、更可靠的AI系统提供新的思路。

📄 摘要（原文）

Large Language Models are known to capture real-world knowledge, allowing them to excel in many downstream tasks. Despite recent advances, these models are still prone to what are commonly known as hallucinations, causing them to emit unwanted and factually incorrect text. In this work, we study how well LLMs capture uncertainty, without explicitly being trained for that. We show that, if considering uncertainty as a linear concept in the model's latent space, it might indeed be captured, even after only pretraining. We further show that, though unintuitive, LLMs appear to capture several different types of uncertainty, each of which can be useful to predict the correctness for a specific task or benchmark. Furthermore, we provide in-depth results such as demonstrating a correlation between our correction prediction and the model's ability to abstain from misinformation using words, and the lack of impact of model scaling for capturing uncertainty. Finally, we claim that unifying the uncertainty types as a single one using instruction-tuning or [IDK]-token tuning is helpful for the model in terms of correctness prediction.