Can Large Language Models Faithfully Express Their Intrinsic Uncertainty in Words?
作者: Gal Yona, Roee Aharoni, Mor Geva
分类: cs.CL
发布日期: 2024-05-27 (更新: 2024-09-26)
备注: To appear in EMNLP 2024 (main conference)
💡 一句话要点
评估大语言模型在知识密集型问答中自然语言表达内在不确定性的能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 不确定性表达 知识密集型问答 可信度 对齐 自然语言处理 置信度评估
📋 核心要点
- 现有大语言模型在表达自身不确定性方面存在不足，可能导致用户对模型的信任度降低。
- 论文提出了一种基于模型置信度和表达果断性之间差距的指标，用于评估模型表达不确定性的能力。
- 实验结果表明，现有大语言模型在忠实表达不确定性方面表现不佳，需要进一步的对齐优化。
📝 摘要（中文）
本文探讨了大语言模型(LLM)是否能够用自然语言表达其内在的不确定性。例如，如果LLM对同一问题的两个矛盾答案的可能性相同，那么它生成的回答应该通过对冲其答案来反映这种不确定性（例如，“我不确定，但我认为……”）。本文基于模型对其所做断言的内在置信度与它们被传达的果断性之间的差距，形式化了忠实的响应不确定性。这种示例级别的指标可靠地表明了模型是否反映了其不确定性，因为它惩罚了过度和不足的对冲。本文评估了各种对齐的LLM在几个知识密集型问答任务中忠实地传达不确定性的能力。结果提供了强有力的证据表明，现代LLM在忠实地传达其不确定性方面表现不佳，并且需要更好的对齐来提高其可信度。
🔬 方法详解
问题定义：论文旨在解决大语言模型（LLM）在知识密集型问答任务中，无法准确、可靠地用自然语言表达其内在不确定性的问题。现有的LLM在面对不确定性时，要么过度自信，要么过度犹豫，导致输出结果与模型自身的置信度不匹配，影响了模型的可信赖程度。
核心思路：论文的核心思路是形式化“忠实响应不确定性”的概念，即模型表达的不确定性程度应该与其内在置信度相匹配。如果模型对某个答案的置信度较低，那么它应该在回答中体现出这种不确定性，例如使用“可能”、“也许”等词语。反之，如果模型对某个答案的置信度很高，那么它可以更果断地表达。
技术框架：论文提出了一种示例级别的指标来衡量模型的忠实响应不确定性。该指标基于模型对其所做断言的内在置信度与它们被传达的果断性之间的差距。具体来说，该指标会惩罚过度自信（模型置信度低但表达果断）和过度犹豫（模型置信度高但表达不确定）的情况。整体流程包括：1) 给定一个知识密集型问答任务；2) 使用LLM生成答案；3) 评估LLM对答案的内在置信度；4) 评估LLM表达的果断性；5) 使用提出的指标计算忠实响应不确定性。
关键创新：论文的关键创新在于提出了一个可量化的指标来评估LLM在表达不确定性方面的能力。该指标考虑了模型内在置信度和表达果断性之间的匹配程度，能够更准确地反映模型是否忠实地传达了其不确定性。与以往的研究相比，该指标更加细粒度，能够区分过度自信和过度犹豫的情况。
关键设计：论文中，内在置信度的评估方法和表达果断性的评估方法是关键设计。具体的评估方法在论文中没有详细说明，属于未知的技术细节。但是，该指标的设计思路是，如果模型对某个答案的置信度较低，那么它应该在回答中体现出这种不确定性，例如使用“可能”、“也许”等词语。反之，如果模型对某个答案的置信度很高，那么它可以更果断地表达。
🖼️ 关键图片
📊 实验亮点
实验结果表明，现有的对齐大语言模型在忠实表达不确定性方面表现不佳。这意味着即使模型本身对答案的置信度不高，它仍然可能给出非常肯定的回答，从而误导用户。该研究强调了进一步对齐LLM的必要性，以提高其可信度。
🎯 应用场景
该研究成果可应用于提升大语言模型在医疗、金融等高风险领域的可靠性和可信度。通过提高模型表达不确定性的能力，可以帮助用户更好地理解模型的局限性，从而做出更明智的决策。未来，该研究还可以促进开发更安全、更负责任的人工智能系统。
📄 摘要（原文）
We posit that large language models (LLMs) should be capable of expressing their intrinsic uncertainty in natural language. For example, if the LLM is equally likely to output two contradicting answers to the same question, then its generated response should reflect this uncertainty by hedging its answer (e.g., "I'm not sure, but I think..."). We formalize faithful response uncertainty based on the gap between the model's intrinsic confidence in the assertions it makes and the decisiveness by which they are conveyed. This example-level metric reliably indicates whether the model reflects its uncertainty, as it penalizes both excessive and insufficient hedging. We evaluate a variety of aligned LLMs at faithfully communicating uncertainty on several knowledge-intensive question answering tasks. Our results provide strong evidence that modern LLMs are poor at faithfully conveying their uncertainty, and that better alignment is necessary to improve their trustworthiness.