From Data to Commonsense Reasoning: The Use of Large Language Models for Explainable AI

📄 arXiv: 2407.03778v1 📥 PDF

作者: Stefanie Krause, Frieder Stolzenburg

分类: cs.AI, cs.CL, cs.HC

发布日期: 2024-07-04

备注: 19 pages

💡 一句话要点

利用大型语言模型进行常识推理，提升AI的可解释性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 常识推理 大型语言模型 可解释人工智能 问答系统 自然语言处理

📋 核心要点

  1. 现有常识推理方法难以提供直观、类人的解释，限制了AI模型的可解释性，尤其是在问答任务中。
  2. 利用大型语言模型（LLM）的强大能力，探索其在常识推理和提供可解释性方面的潜力。
  3. 实验结果表明，LLM在常识推理方面超越人类水平，Llama 3在多个数据集上显著优于人类，GPT-3.5提供了较好的解释。

📝 摘要（中文）

常识推理是计算机面临的难题，但却是人工智能（AI）的关键技能。它可以通过为AI模型的决策提供直观且类人的解释来增强其可解释性。这在许多领域都是必要的，尤其是在问答（QA）中，问答是自然语言处理（NLP）最重要的任务之一。随着时间的推移，涌现出许多解决常识推理问题的方法，例如使用形式逻辑或语言分析的基于知识的方法。本文研究了大型语言模型（LLM）在不同QA任务上的有效性，重点关注其推理和可解释性能力。我们研究了三个LLM：GPT-3.5、Gemma和Llama 3。我们还通过问卷调查评估了LLM的结果。我们证明了LLM具有常识推理的能力，因为这些模型在不同的数据集上优于人类。虽然GPT-3.5在各种QA基准测试中的准确率从56%到93%不等，但Llama 3在所有11个数据集上的平均准确率达到了90%。因此，Llama 3在所有数据集上的表现都优于人类，在十个数据集上的平均准确率高出21%。此外，我们可以评估出，在可解释人工智能（XAI）的意义上，GPT-3.5为其决策提供了良好的解释。我们的问卷调查显示，66%的参与者认为GPT-3.5的解释是“好”或“优秀”。总而言之，这些发现丰富了我们对当前LLM的理解，并为未来推理和可解释性的研究铺平了道路。

🔬 方法详解

问题定义：论文旨在解决AI在常识推理方面的不足，以及由此导致的可解释性问题。现有方法，如基于知识的方法，在处理复杂、开放领域的常识推理时存在局限性，难以提供人类易于理解的解释。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大语言理解和生成能力，直接从数据中学习常识知识，并利用LLM生成对决策过程的解释，从而提高AI系统的可解释性。

技术框架：论文主要通过实验评估不同的LLM（GPT-3.5, Gemma, Llama 3）在常识推理问答任务上的表现。评估流程包括：1）选择多个常识推理QA数据集；2）使用LLM回答问题并生成解释；3）定量评估LLM的准确率；4）通过问卷调查定性评估LLM生成的解释的质量。

关键创新：论文的关键创新在于验证了LLM在常识推理方面的卓越能力，并探索了LLM在提供可解释性方面的潜力。与传统方法相比，LLM无需人工构建知识库，而是直接从数据中学习，具有更强的泛化能力和适应性。

关键设计：论文主要关注不同LLM的性能比较，没有涉及特定的网络结构或损失函数设计。关键在于选择合适的prompting策略，引导LLM进行推理并生成解释。问卷调查的设计也至关重要，需要确保能够有效评估LLM生成解释的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Llama 3在多个常识推理QA数据集上取得了平均90%的准确率，超越了人类水平（平均高出21%）。GPT-3.5在提供解释方面表现良好，66%的参与者认为其解释“好”或“优秀”。这些结果验证了LLM在常识推理和可解释性方面的巨大潜力。

🎯 应用场景

该研究成果可应用于智能客服、医疗诊断、金融风控等领域，提升AI系统的可靠性和用户信任度。通过提供可解释的决策过程，有助于用户理解AI的行为，并促进人机协作。未来可进一步探索LLM在更复杂常识推理任务中的应用，并研究如何生成更自然、更易于理解的解释。

📄 摘要（原文）

Commonsense reasoning is a difficult task for a computer, but a critical skill for an artificial intelligence (AI). It can enhance the explainability of AI models by enabling them to provide intuitive and human-like explanations for their decisions. This is necessary in many areas especially in question answering (QA), which is one of the most important tasks of natural language processing (NLP). Over time, a multitude of methods have emerged for solving commonsense reasoning problems such as knowledge-based approaches using formal logic or linguistic analysis. In this paper, we investigate the effectiveness of large language models (LLMs) on different QA tasks with a focus on their abilities in reasoning and explainability. We study three LLMs: GPT-3.5, Gemma and Llama 3. We further evaluate the LLM results by means of a questionnaire. We demonstrate the ability of LLMs to reason with commonsense as the models outperform humans on different datasets. While GPT-3.5's accuracy ranges from 56% to 93% on various QA benchmarks, Llama 3 achieved a mean accuracy of 90% on all eleven datasets. Thereby Llama 3 is outperforming humans on all datasets with an average 21% higher accuracy over ten datasets. Furthermore, we can appraise that, in the sense of explainable artificial intelligence (XAI), GPT-3.5 provides good explanations for its decisions. Our questionnaire revealed that 66% of participants rated GPT-3.5's explanations as either "good" or "excellent". Taken together, these findings enrich our understanding of current LLMs and pave the way for future investigations of reasoning and explainability.