Do LLMs Know When to NOT Answer? Investigating Abstention Abilities of Large Language Models

📄 arXiv: 2407.16221v2 📥 PDF

作者: Nishanth Madhusudhan, Sathwik Tejaswi Madhusudhan, Vikas Yadav, Masoud Hashemi

分类: cs.CL

发布日期: 2024-07-23 (更新: 2024-09-24)

备注: 8 pages (excluding limitations, references and appendix) and 5 figures

💡 一句话要点

提出Abstain-QA数据集与黑盒评估方法，研究大语言模型的回避回答能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 回避回答能力 黑盒评估 Abstain-QA数据集 AUCM矩阵

📋 核心要点

  1. 现有方法缺乏标准化评估，且不适用于黑盒LLM，难以评估其回避回答能力。
  2. 提出Abstain-QA数据集与黑盒评估方法AUCM，用于评估LLM在不同场景下的回避回答能力。
  3. 实验表明，即使是GPT-4等强大模型在回避回答方面仍有困难，但严格提示和CoT策略可以有效提升。

📝 摘要（中文）

本文研究了大语言模型(LLM)可靠性的一个关键方面——回避回答能力(AA)，即LLM在不确定或缺乏明确答案时，能够避免给出答案的能力，同时不影响其性能。现有研究缺乏标准化的评估方法，且不适用于无法访问token预测概率的黑盒模型，这使得比较分析具有挑战性，特别是对于最先进的闭源商业LLM。本文通过引入一种黑盒评估方法和一个新的数据集Abstain-QA来弥补这一差距，该数据集旨在严格评估各种问题类型（可回答和不可回答）、领域（充分表示和表示不足）和任务类型（以事实为中心和推理）的AA。我们还提出了一种新的混淆矩阵——“可回答-不可回答混淆矩阵”(AUCM)，它为评估AA提供了一种结构化和精确的方法。最后，我们探讨了三种提示策略——严格提示、口头置信度阈值和思维链(CoT)——对提高AA的影响。结果表明，即使是像GPT-4、Mixtral 8x22b这样强大的模型在回避回答方面也存在困难；然而，严格提示和CoT等策略可以增强这种能力。

🔬 方法详解

问题定义：论文旨在解决大语言模型在面对不确定或无法回答的问题时，如何有效避免给出错误答案的问题。现有方法主要依赖于访问模型内部的token预测概率，这对于闭源的商业LLM是不可行的。此外，缺乏标准化的评估方法，使得不同模型之间的回避回答能力难以比较。

核心思路：论文的核心思路是设计一种黑盒评估方法，即不需要访问模型内部参数或概率，仅通过输入问题并观察模型的输出来评估其回避回答能力。同时，构建一个包含各种类型问题的数据集，以全面评估模型在不同场景下的表现。

技术框架：整体框架包括两个主要部分：Abstain-QA数据集的构建和AUCM评估矩阵的提出。Abstain-QA数据集包含可回答和不可回答的问题，覆盖不同领域和任务类型。AUCM矩阵用于统计模型在可回答和不可回答问题上的回答情况，从而评估其回避回答能力。此外，论文还研究了三种提示策略（严格提示、口头置信度阈值和CoT）对提高回避回答能力的影响。

关键创新：最重要的技术创新点在于提出了一种黑盒评估方法，使得可以评估闭源商业LLM的回避回答能力。同时，Abstain-QA数据集的构建，为全面评估LLM的回避回答能力提供了基础。AUCM矩阵提供了一种结构化的评估方法。

关键设计：Abstain-QA数据集的设计考虑了问题类型、领域和任务类型的多样性，以确保评估的全面性。AUCM矩阵的设计基于混淆矩阵的思想，将模型的回答分为四种情况：正确回答可回答问题、错误回答可回答问题、正确回避不可回答问题、错误回答不可回答问题。提示策略的设计旨在引导模型更加谨慎地回答问题，例如，严格提示要求模型只在确信答案正确时才回答。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，即使是GPT-4和Mixtral 8x22b等强大模型在Abstain-QA数据集上仍存在回避回答的困难。然而，通过采用严格提示和CoT策略，可以显著提高模型的回避回答能力。例如，严格提示可以使模型在不可回答问题上的回避率提高XX%（具体数据未知）。

🎯 应用场景

该研究成果可应用于各种需要LLM提供可靠信息的场景，例如智能客服、医疗诊断辅助、金融风险评估等。通过提高LLM的回避回答能力，可以减少错误信息的传播，提高决策的准确性，并增强用户对LLM的信任度。未来的研究可以进一步探索更有效的提示策略和模型训练方法，以提高LLM的回避回答能力。

📄 摘要（原文）

Abstention Ability (AA) is a critical aspect of Large Language Model (LLM) reliability, referring to an LLM's capability to withhold responses when uncertain or lacking a definitive answer, without compromising performance. Although previous studies have attempted to improve AA, they lack a standardised evaluation method and remain unsuitable for black-box models where token prediction probabilities are inaccessible. This makes comparative analysis challenging, especially for state-of-the-art closed-source commercial LLMs. This paper bridges this gap by introducing a black-box evaluation approach and a new dataset, Abstain-QA, crafted to rigorously assess AA across varied question types (answerable and unanswerable), domains (well-represented and under-represented), and task types (fact centric and reasoning). We also propose a new confusion matrix, the ''Answerable-Unanswerable Confusion Matrix'' (AUCM) which serves as the basis for evaluating AA, by offering a structured and precise approach for assessment. Finally, we explore the impact of three prompting strategies-Strict Prompting, Verbal Confidence Thresholding, and Chain-of-Thought (CoT)-on improving AA. Our results indicate that even powerful models like GPT-4, Mixtral 8x22b encounter difficulties with abstention; however, strategic approaches such as Strict prompting and CoT can enhance this capability.