Combining Cognitive and Generative AI for Self-explanation in Interactive AI Agents

📄 arXiv: 2407.18335v1 📥 PDF

作者: Shalini Sushri, Rahul Dass, Rhea Basappa, Hong Lu, Ashok Goel

分类: cs.AI

发布日期: 2024-07-25

备注: 10 pages, 2 figures, 2 tables, 1 appendix, HEXED Workshop @EDM July 2024

💡 一句话要点

结合认知AI与生成AI，为交互式AI Agent提供自解释能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 认知AI 生成AI 自解释性 交互式AI Agent 知识表示 自然语言生成

📋 核心要点

  1. 现有交互式AI Agent缺乏有效的自解释能力，限制了用户理解和信任。
  2. 论文结合认知AI的知识表示和生成AI的语言生成能力，提升Agent的自解释性。
  3. 初步实验表明，该方法在生成解释方面具有潜力，能够回答用户关于Agent工作原理的问题。

📝 摘要（中文）

本文介绍了一种名为VERA（虚拟实验研究助手）的基于探究式学习环境，该环境旨在帮助学习者构建复杂生态系统的概念模型，并使用基于Agent的仿真进行实验。本研究探索了认知AI和生成AI在交互式AI Agent（如VERA）中实现自解释的融合。从认知AI的角度来看，VERA被赋予了其自身设计、知识和推理的功能模型，这些模型用Task--Method--Knowledge (TMK) 语言表示。从生成AI的角度来看，我们使用ChatGPT、LangChain和Chain-of-Thought来根据VERA TMK模型回答用户问题。因此，我们结合认知AI和生成AI来生成关于VERA如何工作并产生答案的解释。对VERA中解释生成在66个问题集上的初步评估结果显示出良好的前景。

🔬 方法详解

问题定义：论文旨在解决交互式AI Agent缺乏自解释能力的问题。现有的Agent通常难以向用户解释其内部工作原理和决策过程，导致用户难以理解和信任Agent的输出结果。这阻碍了Agent在教育、科研等领域的应用。

核心思路：论文的核心思路是将认知AI的知识表示方法与生成AI的语言生成能力相结合。具体来说，利用认知AI构建Agent的内部知识模型，然后利用生成AI根据该知识模型生成自然语言解释，从而使用户能够理解Agent的行为。

技术框架：该方法的技术框架主要包含两个部分：认知AI部分和生成AI部分。认知AI部分负责构建Agent的知识模型，使用Task--Method--Knowledge (TMK) 语言来表示Agent的设计、知识和推理过程。生成AI部分则利用ChatGPT、LangChain和Chain-of-Thought等技术，根据TMK模型生成自然语言解释。用户提出问题后，系统首先查询TMK模型，然后利用生成AI将查询结果转化为易于理解的解释。

关键创新：该方法最重要的创新点在于将认知AI的结构化知识表示与生成AI的自然语言生成相结合，从而实现了更具解释性的AI Agent。与传统的黑盒模型相比，该方法能够提供Agent内部工作原理的透明视图。

关键设计：关键设计包括：1) 使用TMK语言进行知识表示，TMK语言能够清晰地表达Agent的任务、方法和知识；2) 利用ChatGPT等大型语言模型进行自然语言生成，确保生成的解释流畅自然；3) 使用Chain-of-Thought技术，使生成的解释更具逻辑性和条理性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

论文在VERA平台上进行了初步评估，使用66个问题集测试了该方法的解释生成能力。结果表明，该方法能够生成有意义且连贯的解释，为用户理解VERA的工作原理提供了帮助。虽然没有提供具体的性能指标，但作者认为实验结果是“promising”，表明该方法具有良好的潜力。

🎯 应用场景

该研究成果可应用于各种交互式AI Agent，例如智能导师、虚拟助手和决策支持系统。通过提供自解释能力，这些Agent可以提高用户的信任度和满意度，并促进人机协作。在教育领域，该方法可以帮助学生更好地理解复杂概念和模型。

📄 摘要（原文）

The Virtual Experimental Research Assistant (VERA) is an inquiry-based learning environment that empowers a learner to build conceptual models of complex ecological systems and experiment with agent-based simulations of the models. This study investigates the convergence of cognitive AI and generative AI for self-explanation in interactive AI agents such as VERA. From a cognitive AI viewpoint, we endow VERA with a functional model of its own design, knowledge, and reasoning represented in the Task--Method--Knowledge (TMK) language. From the perspective of generative AI, we use ChatGPT, LangChain, and Chain-of-Thought to answer user questions based on the VERA TMK model. Thus, we combine cognitive and generative AI to generate explanations about how VERA works and produces its answers. The preliminary evaluation of the generation of explanations in VERA on a bank of 66 questions derived from earlier work appears promising.