Accurate and Nuanced Open-QA Evaluation Through Textual Entailment

📄 arXiv: 2405.16702v1 📥 PDF

作者: Peiran Yao, Denilson Barbosa

分类: cs.CL

发布日期: 2024-05-26

备注: To appear at ACL 2024 (Findings)

💡 一句话要点

提出基于文本蕴含的开放域问答评估方法，提升评估准确性和细粒度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放域问答 文本蕴含 问答评估 自然语言处理 大型语言模型

📋 核心要点

  1. 现有Open-QA评估方法存在问题歧义和语义理解不足的挑战，导致评估结果与人类判断存在偏差。
  2. 该论文提出基于文本蕴含关系的评估方法，通过分析答案间的推理关系，识别更优的系统答案。
  3. 实验表明，该方法在NaturalQuestions和TriviaQA数据集上，评估结果更接近人类判断，并提高了排序的AUC。

📝 摘要（中文）

开放域问答（Open-QA）是评估大型语言模型（LLM）的常用任务。然而，当前的Open-QA评估因问题本身的歧义和评估器缺乏语义理解而备受诟病。即使是基于基础模型或LLM的复杂评估器，在语义等价性方面表现良好，但与人类判断仍存在较大差距。我们提出研究答案的蕴含关系，以识别更具信息性和更通用的系统答案，从而在NaturalQuestions和TriviaQA上提供更接近人类判断的评估，且无需任何学习。我们提出的基于蕴含的评估方法，通过量化答案之间的推理差距，能够分配奖励或部分分数，从而实现对答案正确性的细致排序，并获得比现有方法更高的AUC。

🔬 方法详解

问题定义：当前开放域问答（Open-QA）的评估方法面临两大痛点。一是问题本身可能存在歧义，导致模型难以准确理解用户的意图。二是现有的评估器，即使是基于大型语言模型（LLM）的复杂评估器，在语义理解方面仍然存在不足，无法准确判断答案的正确性和完整性，导致评估结果与人类的判断存在较大偏差。

核心思路：该论文的核心思路是利用文本蕴含关系来评估答案的质量。具体来说，如果一个答案能够蕴含另一个答案，那么前者通常比后者更具信息性和通用性。通过分析答案之间的蕴含关系，可以更准确地判断答案的正确性和完整性，从而提高评估的准确性和细粒度。这种方法无需学习，避免了训练数据带来的偏差。

技术框架：该论文提出的评估框架主要包含以下几个步骤：1. 获取系统生成的多个候选答案。2. 对这些答案进行两两比较，判断它们之间的蕴含关系。3. 基于蕴含关系构建答案之间的偏序关系图。4. 根据偏序关系图，对答案进行排序和评分。蕴含关系的判断可以使用现有的文本蕴含识别模型，也可以使用人工标注。

关键创新：该论文的关键创新在于将文本蕴含关系引入到开放域问答的评估中。与传统的基于精确匹配或语义相似度的评估方法相比，基于蕴含关系的评估方法能够更准确地捕捉答案的正确性和完整性。此外，该方法还能够实现对答案的细粒度排序，从而更好地反映模型在不同方面的表现。

关键设计：论文中并没有明确指出关键的参数设置、损失函数或网络结构等技术细节，因为该方法主要依赖于现有的文本蕴含识别模型。关键的设计在于如何有效地利用蕴含关系来构建答案之间的偏序关系图，以及如何根据偏序关系图对答案进行排序和评分。具体实现可能涉及不同的图算法和排序算法，需要根据具体情况进行选择和调整。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，该论文提出的基于文本蕴含的评估方法在NaturalQuestions和TriviaQA数据集上，评估结果与人类判断的相关性更高，并且在答案排序方面取得了更高的AUC。与现有的评估方法相比，该方法能够更准确地评估答案的正确性和完整性，并实现对答案的细粒度排序。

🎯 应用场景

该研究成果可应用于开放域问答系统的自动评估，帮助研究人员更准确地了解模型的性能，并指导模型的改进。此外，该方法还可以用于构建更智能的问答系统，例如，通过分析用户答案的蕴含关系，判断用户是否理解了问题的核心内容，并提供个性化的反馈。

📄 摘要（原文）

Open-domain question answering (Open-QA) is a common task for evaluating large language models (LLMs). However, current Open-QA evaluations are criticized for the ambiguity in questions and the lack of semantic understanding in evaluators. Complex evaluators, powered by foundation models or LLMs and pertaining to semantic equivalence, still deviate from human judgments by a large margin. We propose to study the entailment relations of answers to identify more informative and more general system answers, offering a much closer evaluation to human judgment on both NaturalQuestions and TriviaQA while being learning-free. The entailment-based evaluation we propose allows the assignment of bonus or partial marks by quantifying the inference gap between answers, enabling a nuanced ranking of answer correctness that has higher AUC than current methods.