Explain-Query-Test: Self-Evaluating LLMs Via Explanation and Comprehension Discrepancy

📄 arXiv: 2501.11721v2 📥 PDF

作者: Saeid Asgari Taghanaki, Joao Monteiro

分类: cs.CL, cs.LG

发布日期: 2025-01-20 (更新: 2025-03-08)

备注: Accepted to ICLR 2025, SSI-FM

🔗 代码/项目: GITHUB

💡 一句话要点

提出Explain-Query-Test自评估框架，通过解释与理解差异评估LLM

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 自评估 理解能力 问答生成 知识表示 推理能力 MMLU-Pro 一致性评估

📋 核心要点

  1. 现有LLM虽然能生成连贯的解释，但对其理解程度缺乏有效评估方法。
  2. 提出EQT框架，通过生成解释、问题和答案，利用一致性评估LLM的理解能力。
  3. 实验表明EQT性能与MMLU-Pro等基准高度相关，可用于模型排序，无需外部数据。

📝 摘要（中文）

大型语言模型（LLM）在生成复杂概念的详细和连贯解释方面表现出了卓越的能力。然而，这些模型对其所阐述的概念的真正理解程度仍不清楚。为了评估模型相对于其生成内容的理解水平，我们实现了一个自评估流程，模型在此流程中：（i）给定一个主题，生成一个包含该主题信息的摘录，（ii）给定一个摘录，生成问答对，最后（iii）给定一个问题，生成一个答案。我们将这种自评估方法称为Explain-Query-Test（EQT）。有趣的是，运行EQT流程生成的问答对的准确性与模型性能密切相关，这已通过MMLU-Pro等典型基准验证。换句话说，EQT的性能可以预测MMLU-Pro的性能，并且EQT可以用于对模型进行排名，而无需任何外部评估数据，只需感兴趣的主题列表即可。此外，我们的结果揭示了模型生成详细解释的能力与其在与这些解释相关的问题上的表现之间的差距。这一差距突显了当前LLM在内部知识表示和推理能力方面的根本局限性。我们在https://github.com/asgsaeid/EQT发布了代码。

🔬 方法详解

问题定义：论文旨在解决如何有效评估大型语言模型（LLM）对其自身生成内容的理解程度的问题。现有方法依赖于外部基准数据集，成本高昂且可能存在偏差。此外，简单地评估LLM的生成能力并不能直接反映其真正的理解水平，因为模型可能只是在模仿模式，而没有进行深入的推理。

核心思路：论文的核心思路是通过构建一个自评估流程，让LLM自己生成解释、问题和答案，然后评估这些生成内容之间的一致性。如果模型能够基于其生成的解释准确回答相关问题，则可以认为它对该主题具有较好的理解。这种方法避免了对外部数据的依赖，并且能够更直接地反映LLM的内部知识表示和推理能力。

技术框架：EQT框架包含三个主要阶段： 1. Explain：给定一个主题，LLM生成一段包含该主题信息的文本摘录。 2. Query：给定生成的文本摘录，LLM生成一系列问答对，这些问题应该能够从文本中找到答案。 3. Test：给定生成的问题，LLM生成对应的答案。然后，将生成的答案与文本摘录进行比较，评估答案的准确性。

关键创新：EQT的关键创新在于其自评估的特性。它不需要任何外部标注数据，而是完全依赖于LLM自身生成的内容进行评估。这种方法能够更直接地反映LLM的内部知识表示和推理能力，并且可以用于在没有外部基准的情况下对模型进行排序。

关键设计：论文中没有详细说明具体的参数设置、损失函数或网络结构，因为EQT框架本身是一种评估流程，而不是一种新的模型架构。关键的设计在于如何有效地评估生成的答案的准确性。论文中可能使用了某种形式的文本相似度度量或问答匹配模型来评估答案的质量。此外，如何选择合适的主题列表也是一个重要的设计考虑因素，因为主题的难度和覆盖范围会影响评估结果的可靠性。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，EQT的性能与MMLU-Pro等典型基准高度相关，这意味着EQT可以有效地预测LLM在标准任务上的表现。更重要的是，EQT揭示了LLM在生成详细解释的能力与其在相关问题上的表现之间存在差距，突显了当前LLM在知识表示和推理方面的局限性。

🎯 应用场景

EQT框架可用于LLM的开发和评估阶段，帮助研究人员和工程师更好地了解模型的理解能力，并指导模型的改进。此外，EQT还可以用于自动生成高质量的问答数据集，用于训练和评估其他LLM。该方法具有广泛的应用前景，可以促进LLM技术的进步。

📄 摘要（原文）

Large language models (LLMs) have demonstrated remarkable proficiency in generating detailed and coherent explanations of complex concepts. However, the extent to which these models truly comprehend the concepts they articulate remains unclear. To assess the level of comprehension of a model relative to the content it generates, we implemented a self-evaluation pipeline where models: (i) given a topic generate an excerpt with information about the topic, (ii) given an excerpt generate question-answer pairs, and finally (iii) given a question generate an answer. We refer to this self-evaluation approach as Explain-Query-Test (EQT). Interestingly, the accuracy on generated questions resulting from running the EQT pipeline correlates strongly with the model performance as verified by typical benchmarks such as MMLU-Pro. In other words, EQT's performance is predictive of MMLU-Pro's, and EQT can be used to rank models without the need for any external source of evaluation data other than lists of topics of interest. Moreover, our results reveal a disparity between the models' ability to produce detailed explanations and their performance on questions related to those explanations. This gap highlights fundamental limitations in the internal knowledge representation and reasoning abilities of current LLMs. We release the code at https://github.com/asgsaeid/EQT.