CourseGPT-zh: an Educational Large Language Model Based on Knowledge Distillation Incorporating Prompt Optimization

📄 arXiv: 2405.04781v1 📥 PDF

作者: Zheyan Qu, Lu Yin, Zitong Yu, Wenbo Wang, Xing zhang

分类: cs.CL

发布日期: 2024-05-08

💡 一句话要点

提出CourseGPT-zh，一种基于知识蒸馏和提示优化的教育领域大语言模型。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 教育大语言模型 知识蒸馏 提示优化 LLM-as-Judge 参数高效微调

📋 核心要点

  1. 现有大语言模型在教育领域的应用受限于API访问限制和高质量数据集的获取难度。
  2. CourseGPT-zh通过知识蒸馏和提示优化，构建高质量课程问答语料，并对LLM响应进行用户对齐。
  3. 实验表明，提出的离散提示优化框架提升了ChatGPT的响应质量，CourseGPT-zh在专业知识问答上优于其他开源模型。

📝 摘要（中文）

本文提出CourseGPT-zh，一个面向课程的教育大语言模型，支持定制和低成本部署。为了满足课程特定语料库的全面性和多样性需求，我们设计了一个高质量的问答语料蒸馏框架，该框架结合了提示优化，有效地挖掘了教科书知识并增强了其多样性。此外，考虑到LLM响应与用户需求的对齐，引入了一种基于LLM-as-Judge的离散提示优化新方法。在优化过程中，该框架利用LLM反思和利用错误反馈和模式的能力，从而生成满足用户需求和偏好的提示，同时节省响应长度。最后，我们使用参数高效的微调，在开源LLM的基础上获得了CourseGPT-zh。实验结果表明，我们的离散提示优化框架有效地提高了ChatGPT的响应质量，并且CourseGPT-zh在专业知识问答方面表现出强大的专业能力，显著优于同类开源模型。

🔬 方法详解

问题定义：现有的大语言模型在教育领域的应用面临两个主要问题：一是闭源LLM的API访问受限，导致定制化困难；二是缺乏大规模高质量的课程相关数据集，难以训练出专业性强的教育LLM。因此，需要一种方法能够低成本地构建特定课程的教育LLM，并使其能够准确、有效地回答专业问题。

核心思路：本文的核心思路是利用知识蒸馏技术，从教科书等现有资源中提取知识，构建高质量的问答数据集。同时，采用提示优化技术，引导LLM生成更符合用户需求的答案。通过参数高效的微调，将这些知识和能力迁移到开源LLM上，从而得到CourseGPT-zh。

技术框架：CourseGPT-zh的构建主要包含三个阶段：1) 高质量问答语料蒸馏：设计一个框架，结合提示优化，从教科书等资源中提取知识，生成多样化的问答对。2) 基于LLM-as-Judge的离散提示优化：利用LLM评估提示的质量，并根据反馈优化提示，使其更符合用户需求。3) 参数高效微调：使用LoRA等技术，在开源LLM上进行微调，将蒸馏得到的知识和优化后的提示融入模型。

关键创新：本文的关键创新在于提出了基于LLM-as-Judge的离散提示优化方法。与传统的梯度优化方法不同，该方法直接利用LLM评估提示的质量，并根据LLM的反馈进行优化。这种方法能够更有效地找到符合用户需求的提示，并且节省响应长度。

关键设计：在问答语料蒸馏阶段，设计了多种提示模板，以覆盖教科书中的不同类型的知识点。在离散提示优化阶段，使用LLM对提示生成的答案进行评分，并根据评分结果选择更优的提示。在参数高效微调阶段，使用了LoRA技术，只微调少量参数，从而降低了计算成本。

📊 实验亮点

实验结果表明，提出的离散提示优化框架有效地提高了ChatGPT的响应质量。CourseGPT-zh在专业知识问答方面显著优于同类开源模型，证明了其在特定课程知识问答方面的强大能力。具体性能数据（如准确率、召回率等）和对比基线的详细信息需要在论文中查找。

🎯 应用场景

CourseGPT-zh可应用于在线教育、智能辅导、课程知识问答等场景。它可以为学生提供个性化的学习辅导，帮助教师更好地解答学生的问题，并为教育机构提供低成本、可定制的教育大语言模型解决方案。未来，可以进一步扩展到更多学科领域，并与其他教育技术相结合，提升教育质量和效率。

📄 摘要（原文）

Large language models (LLMs) have demonstrated astonishing capabilities in natural language processing (NLP) tasks, sparking interest in their application to professional domains with higher specialized requirements. However, restricted access to closed-source LLMs via APIs and the difficulty in collecting massive high-quality datasets pose obstacles to the development of large language models in education fields of various courses. Given these challenges, we propose CourseGPT-zh, a course-oriented education LLM that supports customization and low-cost deployment. To address the comprehensiveness and diversity requirements of course-specific corpora, we design a high-quality question-answering corpus distillation framework incorporating prompt optimization, which effectively mines textbook knowledge and enhances its diversity. Moreover, considering the alignment of LLM responses with user needs, a novel method for discrete prompt optimization based on LLM-as-Judge is introduced. During optimization, this framework leverages the LLM's ability to reflect on and exploit error feedback and patterns, allowing for prompts that meet user needs and preferences while saving response length. Lastly, we obtain CourseGPT-zh based on the open-source LLM using parameter-efficient fine-tuning. Experimental results show that our discrete prompt optimization framework effectively improves the response quality of ChatGPT, and CourseGPT-zh exhibits strong professional capabilities in specialized knowledge question-answering, significantly outperforming comparable open-source models.