Self-Consistency of Large Language Models under Ambiguity
作者: Henning Bartsch, Ole Jorgensen, Domenic Rosati, Jason Hoelscher-Obermaier, Jacob Pfau
分类: cs.CL, cs.AI
发布日期: 2023-10-20
备注: BlackboxNLP @ EMNLP 2023
💡 一句话要点
提出自一致性评估基准以解决大型语言模型一致性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 自一致性 模糊性 行为实验 鲁棒性检查
📋 核心要点
- 现有大型语言模型在不同上下文中给出的答案缺乏一致性，影响其在问答等任务中的可靠性。
- 本文提出了一种新的评估基准，专注于在模糊情况下的自一致性，探索模型在多种答案可能正确时的表现。
- 实验结果显示，模型的一致性在67%到82%之间，且随着模型能力的提升而增强，表明自一致性是模型的一个新兴能力。
📝 摘要（中文）
大型语言模型（LLMs）在不同上下文中给出不一致的答案，给期望一致性的任务（如问答和解释）带来了问题。本文提出了一种自一致性评估基准，专注于在不明确的情况下，两个或多个答案均可能正确的情形。通过对OpenAI模型套件进行一系列行为实验，发现模型的一致性平均范围为67%到82%，且随着模型能力的提升而增加。此外，模型在一系列鲁棒性检查中保持自一致性，表明这一能力是自发产生的，而非特定训练的结果。尽管如此，模型在判断自身一致性时表现出不校准的现象，显示出过度和不足的自信。我们还提出了一种非参数检验方法，用于判断模型是否对替代答案分配了非平凡的概率。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在模糊情况下给出不一致答案的问题。现有方法未能有效评估模型在多答案情境下的一致性，导致在实际应用中的可靠性不足。
核心思路：论文提出了一种自一致性评估基准，专注于在不明确的情况下，探索模型如何在多个可能正确的答案中保持一致性。通过行为实验，评估模型在不同上下文中的表现。
技术框架：整体架构包括模型的行为实验设计、数据集构建和一致性评估指标。实验中使用了OpenAI模型套件，并通过模糊整数序列补全任务进行评估。
关键创新：最重要的技术创新在于提出了一种新的自一致性评估基准，并通过一系列鲁棒性检查验证了模型在不同条件下的一致性表现。这与现有方法的主要区别在于关注模糊性对模型输出的影响。
关键设计：实验中设置了多种提示变化和序列长度变化，以测试模型在不同条件下的一致性。同时，提出了一种非参数检验方法，用于判断模型对替代答案的概率分配，确保评估的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模型在自一致性方面的表现平均在67%到82%之间，显著高于随机一致性的预测。此外，模型在多次鲁棒性检查中保持一致性，表明这一能力是自发产生的，而非特定训练的结果。
🎯 应用场景
该研究的潜在应用领域包括问答系统、自动化客服、教育辅导等需要高一致性和可靠性的场景。通过提升模型的一致性，能够增强用户体验和信任度，未来可能推动更广泛的智能应用落地。
📄 摘要（原文）
Large language models (LLMs) that do not give consistent answers across contexts are problematic when used for tasks with expectations of consistency, e.g., question-answering, explanations, etc. Our work presents an evaluation benchmark for self-consistency in cases of under-specification where two or more answers can be correct. We conduct a series of behavioral experiments on the OpenAI model suite using an ambiguous integer sequence completion task. We find that average consistency ranges from 67\% to 82\%, far higher than would be predicted if a model's consistency was random, and increases as model capability improves. Furthermore, we show that models tend to maintain self-consistency across a series of robustness checks, including prompting speaker changes and sequence length changes. These results suggest that self-consistency arises as an emergent capability without specifically training for it. Despite this, we find that models are uncalibrated when judging their own consistency, with models displaying both over- and under-confidence. We also propose a nonparametric test for determining from token output distribution whether a model assigns non-trivial probability to alternative answers. Using this test, we find that despite increases in self-consistency, models usually place significant weight on alternative, inconsistent answers. This distribution of probability mass provides evidence that even highly self-consistent models internally compute multiple possible responses.