"Is ChatGPT a Better Explainer than My Professor?": Evaluating the Explanation Capabilities of LLMs in Conversation Compared to a Human Baseline

📄 arXiv: 2406.18512v1 📥 PDF

作者: Grace Li, Milad Alshomary, Smaranda Muresan

分类: cs.CL

发布日期: 2024-06-26

备注: 6 figures, 5 pages

💡 一句话要点

评估大型语言模型在对话解释能力上与人类专家的差距

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 对话解释 解释行为 人工评估 知识共享

📋 核心要点

  1. 现有方法缺乏对对话式解释中解释者和被解释者互动策略的深入理解。
  2. 利用解释行为框架，分析LLM在对话中生成解释性回复的能力，并与人类专家进行对比。
  3. 通过人工评估，对比人类专家、GPT4标准回复和GPT4结合解释动作的回复效果。

📝 摘要（中文）

解释是知识共享的基础，建立在沟通原则、社会动态和学习理论之上。本研究侧重于对话式解释方法，因为其上下文具有高度的适应性和交互性。研究利用了解释行为的相关工作，该框架用于理解解释者和被解释者在对话中使用的不同策略，以进行解释、理解和互动。使用来自WIRED YouTube系列的5-Levels数据集，该数据集已被注释了解释行为。这些注释提供了一个框架，用于理解解释者和被解释者在构建响应时如何组织他们的响应。随着生成式AI的兴起，希望更好地理解大型语言模型（LLM）的能力，以及它们如何在对话环境中增强专家解释者的能力。为了实现这一目标，5-Levels数据集允许审计LLM在参与解释对话中的能力。为了评估LLM在生成解释者响应方面的有效性，比较了3种不同的策略，并让人工标注者评估了3种不同的策略：人类解释者响应、GPT4标准响应、GPT4响应与解释动作。

🔬 方法详解

问题定义：论文旨在评估大型语言模型（LLM）在对话式解释场景下的能力，并将其与人类专家的表现进行比较。现有方法缺乏对LLM在对话中如何有效进行解释，以及如何模拟人类解释者行为的深入理解。现有研究未能充分利用对话的互动性和适应性，以及解释行为的细粒度特征。

核心思路：论文的核心思路是利用解释行为框架，将对话式解释分解为一系列可分析的动作，从而评估LLM在生成解释性回复方面的能力。通过对比LLM和人类专家的表现，揭示LLM在对话解释方面的优势和不足。这种方法强调了对话的动态性和互动性，以及解释策略的多样性。

技术框架：论文使用5-Levels数据集，该数据集包含人类专家在对话中进行解释的实例，并标注了解释行为。研究采用三种策略生成解释性回复：人类解释者回复、GPT4标准回复、GPT4结合解释动作的回复。然后，通过人工标注，对这些回复的质量进行评估。整体流程包括数据准备、模型推理、回复生成和人工评估四个阶段。

关键创新：论文的关键创新在于将解释行为框架应用于评估LLM的对话解释能力。通过分析LLM生成的回复中解释行为的出现频率和质量，可以更深入地了解LLM在对话中如何进行解释，以及如何模拟人类解释者的行为。此外，论文还对比了不同策略下GPT4的表现，揭示了结合解释动作可以提升LLM的解释能力。

关键设计：论文的关键设计包括：1) 使用5-Levels数据集，该数据集提供了丰富的对话解释实例；2) 采用解释行为框架，对对话进行细粒度分析；3) 对比三种不同的回复生成策略，评估LLM的解释能力；4) 通过人工标注，对回复的质量进行评估。具体的参数设置和网络结构取决于GPT4模型的内部实现，论文未详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GPT4在生成解释性回复方面具有一定的能力，但在某些方面仍不如人类专家。结合解释动作可以提升GPT4的解释能力，使其生成的回复更符合人类的解释习惯。人工评估结果显示，人类专家的回复在流畅性、准确性和信息量方面优于GPT4生成的回复。具体的性能数据和提升幅度在论文中进行了详细的量化分析。

🎯 应用场景

该研究成果可应用于智能客服、在线教育、知识问答系统等领域。通过提升LLM的对话解释能力，可以构建更智能、更人性化的对话系统，为用户提供更有效的知识传递和问题解答。未来，该研究可以扩展到其他领域，如医疗咨询、法律咨询等，为专业人士提供辅助解释工具。

📄 摘要（原文）

Explanations form the foundation of knowledge sharing and build upon communication principles, social dynamics, and learning theories. We focus specifically on conversational approaches for explanations because the context is highly adaptive and interactive. Our research leverages previous work on explanatory acts, a framework for understanding the different strategies that explainers and explainees employ in a conversation to both explain, understand, and engage with the other party. We use the 5-Levels dataset was constructed from the WIRED YouTube series by Wachsmuth et al., and later annotated by Booshehri et al. with explanatory acts. These annotations provide a framework for understanding how explainers and explainees structure their response when crafting a response. With the rise of generative AI in the past year, we hope to better understand the capabilities of Large Language Models (LLMs) and how they can augment expert explainer's capabilities in conversational settings. To achieve this goal, the 5-Levels dataset (We use Booshehri et al.'s 2023 annotated dataset with explanatory acts.) allows us to audit the ability of LLMs in engaging in explanation dialogues. To evaluate the effectiveness of LLMs in generating explainer responses, we compared 3 different strategies, we asked human annotators to evaluate 3 different strategies: human explainer response, GPT4 standard response, GPT4 response with Explanation Moves.