An Evaluation of Estimative Uncertainty in Large Language Models
作者: Zhisheng Tang, Ke Shen, Mayank Kejriwal
分类: cs.CL, cs.AI, cs.HC
发布日期: 2024-05-24
💡 一句话要点
评估大型语言模型中估计性不确定性的表达能力及与人类的对齐程度
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 估计性不确定性 人机对齐 自然语言处理 概率估计
📋 核心要点
- 现有方法缺乏对LLM在估计性不确定性表达上与人类对齐程度的系统评估，尤其是在不同语境下。
- 该研究通过对比LLM和人类对WEPs的理解，评估LLM在不同语境下表达估计性不确定性的能力。
- 实验结果表明，LLM在某些情况下与人类估计一致，但在性别角色和中文语境下存在差异，性能差距仍然存在。
📝 摘要（中文）
本研究对比了常用大型语言模型（LLMs），如GPT-4和ERNIE-4，在表达估计性不确定性方面的能力，并将其与人类的表现进行比较。估计性概率词汇（WEPs），如“可能”或“很可能不是”，在自然语言中被广泛用于传达估计性不确定性，而非直接使用数值概率。人类的估计性不确定性及其与数值估计的校准一直是研究领域的热点，包括中央情报局等情报机构。研究表明，GPT-3.5和GPT-4等LLM在某些情况下与人类对英语WEPs的估计相符，但在其他情况下则存在差异。当LLM被赋予性别角色和中文语境时，也观察到差异。进一步研究表明，像GPT-4这样的高级LLM可以一致地在统计不确定性和估计不确定性之间进行映射，但仍然存在显著的性能差距。这些结果为不断增长的人类-LLM对齐研究做出了贡献。
🔬 方法详解
问题定义：论文旨在评估大型语言模型（LLMs）在表达和理解“估计性不确定性”方面的能力，即模型如何理解和使用诸如“可能”、“也许”等词汇来表达不确定性。现有方法缺乏对LLM在不同语境（如性别角色、不同语言）下表达不确定性的系统评估，无法充分了解LLM与人类在不确定性理解上的对齐程度。
核心思路：核心思路是将LLM对WEPs的理解与人类的理解进行对比，通过设计一系列实验，考察LLM在不同语境下对WEPs的解释是否与人类的直觉一致。如果LLM能够准确地将WEPs映射到相应的概率范围，则认为其在估计性不确定性表达方面与人类对齐。
技术框架：该研究的技术框架主要包括以下几个阶段：1) 构建包含各种WEPs的测试数据集，并设计不同的语境（如性别角色、中英文语境）。2) 使用LLM（如GPT-4、ERNIE-4）对测试数据集中的WEPs进行解释，例如，要求LLM将“可能”映射到一个概率范围。3) 将LLM的解释与人类的解释进行对比，评估LLM与人类在估计性不确定性表达上的对齐程度。4) 分析LLM在不同语境下的表现差异，找出LLM在估计性不确定性表达方面的优势和不足。
关键创新：该研究的关键创新在于系统性地评估了LLM在估计性不确定性表达方面的能力，并将其与人类的表现进行对比。以往的研究主要关注LLM在事实性知识和推理能力方面的表现，而忽略了LLM在不确定性表达方面的能力。该研究填补了这一空白，为更好地理解LLM的局限性提供了新的视角。
关键设计：关键设计包括：1) 精心设计的测试数据集，包含各种WEPs和不同的语境。2) 使用概率范围来量化LLM和人类对WEPs的解释。3) 使用多种评估指标来衡量LLM与人类在估计性不确定性表达上的对齐程度。4) 对LLM在不同语境下的表现差异进行深入分析。
🖼️ 关键图片
📊 实验亮点
实验结果表明，GPT-3.5和GPT-4在某些情况下与人类对英语WEPs的估计相符，但在性别角色和中文语境下存在显著差异。GPT-4能够相对一致地在统计不确定性和估计不确定性之间进行映射，但与人类水平相比仍有差距。这些发现揭示了LLM在处理不确定性方面的局限性，并为未来的研究方向提供了指导。
🎯 应用场景
该研究成果可应用于提升人机协作的可靠性和信任度，尤其是在需要处理不确定信息的决策场景中，例如医疗诊断、金融风险评估和情报分析。通过更好地理解LLM如何表达和理解不确定性，可以开发更安全、更可靠的AI系统，并促进人与AI之间的有效沟通。
📄 摘要（原文）
Words of estimative probability (WEPs), such as ''maybe'' or ''probably not'' are ubiquitous in natural language for communicating estimative uncertainty, compared with direct statements involving numerical probability. Human estimative uncertainty, and its calibration with numerical estimates, has long been an area of study -- including by intelligence agencies like the CIA. This study compares estimative uncertainty in commonly used large language models (LLMs) like GPT-4 and ERNIE-4 to that of humans, and to each other. Here we show that LLMs like GPT-3.5 and GPT-4 align with human estimates for some, but not all, WEPs presented in English. Divergence is also observed when the LLM is presented with gendered roles and Chinese contexts. Further study shows that an advanced LLM like GPT-4 can consistently map between statistical and estimative uncertainty, but a significant performance gap remains. The results contribute to a growing body of research on human-LLM alignment.