AI-University: An LLM-based platform for instructional alignment to scientific classrooms

📄 arXiv: 2504.08846v1 📥 PDF

作者: Mostafa Faghih Shojaei, Rahul Gulati, Benjamin A. Jasperson, Shangshang Wang, Simone Cimolato, Dangli Cao, Willie Neiswanger, Krishna Garikipati

分类: cs.CY, cs.AI, cs.CL, cs.LG

发布日期: 2025-04-11

备注: 10 pages, 3 figures

💡 一句话要点

AI-University：一个基于LLM的教学对齐平台，应用于科学课堂

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 检索增强生成 低秩适应 教学对齐 有限元方法

📋 核心要点

  1. 现有教学内容生成方法难以有效对齐教师的特定教学风格和课程材料，导致学生学习效果不佳。
  2. AI-U通过RAG微调LLM，利用讲座视频、笔记和教材等信息，生成与教师教学风格对齐的课程内容。
  3. 实验结果表明，AI-U生成的回复与课程材料具有很强的对齐性，且优于基线模型，提升了教学质量。

📝 摘要（中文）

本文介绍AI University (AI-U)，这是一个灵活的AI驱动课程内容交付框架，能够适应教师的教学风格。AI-U的核心在于，通过检索增强生成(RAG)对大型语言模型(LLM)进行微调，从而从讲座视频、笔记和教科书中生成与教师对齐的回复。以研究生级别的有限元方法(FEM)课程为例，我们提出了一个可扩展的pipeline，以系统地构建训练数据，使用低秩适应(LoRA)微调开源LLM，并通过基于RAG的合成来优化其回复。我们的评估——结合余弦相似度、基于LLM的评估和专家评审——表明与课程材料具有很强的对齐性。我们还开发了一个原型Web应用程序（https://my-ai-university.com），通过将AI生成的回复链接到相关课程材料的特定部分和开放获取视频讲座的时间戳实例，从而增强可追溯性。我们的专家模型在86%的测试用例中具有更高的余弦相似度。LLM评判器也发现我们的专家模型在五分之四的情况下优于基础Llama 3.2模型。AI-U提供了一种可扩展的AI辅助教育方法，为在高等教育中更广泛的应用铺平了道路。虽然本文的框架是在有限元方法课程中提出的，但它代表了一个更广泛的背景：将LLM微调到科学研究内容。

🔬 方法详解

问题定义：论文旨在解决如何使AI生成的课程内容与教师的教学风格和课程材料对齐的问题。现有方法通常难以捕捉教师的个性化教学特点，导致生成的学习资源与实际教学脱节，学生难以理解和应用。

核心思路：论文的核心思路是利用检索增强生成（RAG）技术，结合教师提供的课程材料（如讲座视频、笔记和教材）对大型语言模型（LLM）进行微调。通过RAG，LLM可以检索相关信息并生成更准确、更符合教师教学风格的回复。

技术框架：AI-U的整体框架包括以下几个主要阶段：1) 数据构建：系统地收集和整理课程材料，包括讲座视频、笔记和教材。2) LLM微调：使用低秩适应（LoRA）技术对开源LLM进行微调，使其适应特定的课程内容和教学风格。3) RAG优化：利用RAG技术，在生成回复时检索相关信息，提高回复的准确性和相关性。4) 评估：使用余弦相似度、基于LLM的评估和专家评审等方法，评估生成的回复与课程材料的对齐程度。

关键创新：该论文的关键创新在于将RAG技术与LLM微调相结合，实现了个性化的课程内容生成。与传统的课程内容生成方法相比，AI-U能够更好地捕捉教师的教学风格，并生成更符合学生需求的学习资源。

关键设计：在LLM微调阶段，使用了低秩适应（LoRA）技术，以减少训练参数，提高训练效率。在RAG优化阶段，设计了有效的检索策略，以确保检索到相关的信息。此外，还设计了多种评估指标，以全面评估生成的回复的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AI-U生成的回复与课程材料具有很强的对齐性。在86%的测试用例中，专家模型具有更高的余弦相似度。LLM评判器也发现，AI-U的专家模型在五分之四的情况下优于基础Llama 3.2模型。这些结果表明，AI-U能够有效地生成与教师教学风格对齐的课程内容。

🎯 应用场景

AI-U可应用于高等教育领域，为学生提供个性化的学习资源，辅助教师进行教学。该研究具有广泛的应用前景，可以推广到其他学科和课程，提高教学质量和学习效率。未来，AI-U还可以与在线学习平台集成，为学生提供更加便捷的学习体验。

📄 摘要（原文）

We introduce AI University (AI-U), a flexible framework for AI-driven course content delivery that adapts to instructors' teaching styles. At its core, AI-U fine-tunes a large language model (LLM) with retrieval-augmented generation (RAG) to generate instructor-aligned responses from lecture videos, notes, and textbooks. Using a graduate-level finite-element-method (FEM) course as a case study, we present a scalable pipeline to systematically construct training data, fine-tune an open-source LLM with Low-Rank Adaptation (LoRA), and optimize its responses through RAG-based synthesis. Our evaluation - combining cosine similarity, LLM-based assessment, and expert review - demonstrates strong alignment with course materials. We also have developed a prototype web application, available at https://my-ai-university.com, that enhances traceability by linking AI-generated responses to specific sections of the relevant course material and time-stamped instances of the open-access video lectures. Our expert model is found to have greater cosine similarity with a reference on 86% of test cases. An LLM judge also found our expert model to outperform the base Llama 3.2 model approximately four times out of five. AI-U offers a scalable approach to AI-assisted education, paving the way for broader adoption in higher education. Here, our framework has been presented in the setting of a class on FEM - a subject that is central to training PhD and Master students in engineering science. However, this setting is a particular instance of a broader context: fine-tuning LLMs to research content in science.