Bridging LMS and generative AI: dynamic course content integration (DCCI) for enhancing student satisfaction and engagement via the ask ME assistant

📄 arXiv: 2504.03966v2 📥 PDF

作者: Kovan Mzwri, Márta Turcsányi-Szabo

分类: cs.CY, cs.AI, cs.ET, cs.HC, cs.SE

发布日期: 2025-04-04 (更新: 2025-11-13)

期刊: J. Comput. Educ. (2025)

DOI: 10.1007/s40692-025-00367-w

💡 一句话要点

提出DCCI动态课程内容集成机制，提升LLM教育助手的准确性和学生参与度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM 学习管理系统 动态课程内容集成 提示工程 教育自动化

📋 核心要点

  1. 现有LLM在教育应用中存在幻觉问题，生成不准确信息，影响教学质量。
  2. 提出DCCI机制，通过动态检索LMS课程内容并融入LLM上下文，提升响应的准确性和相关性。
  3. 实验表明，DCCI显著提升学生满意度和参与度，但需关注过度依赖AI及减少师生互动的问题。

📝 摘要（中文）

大型语言模型（LLM）与学习管理系统（LMS）的集成可以增强教育领域的任务自动化和可访问性。然而，LLM产生不准确或误导性信息的幻觉问题仍然是一个挑战。本研究引入了动态课程内容集成（DCCI）机制，该机制动态地从Canvas LMS检索课程内容，并通过提示工程将其构建在LLM的上下文窗口中，使LLM驱动的助手Ask ME能够提供上下文感知、与课程对齐的响应，同时减轻幻觉。一项基于自我决定理论（自主性、能力）和技术接受模型（感知有用性、易用性）的混合方法试点研究，评估了DCCI在Eötvös Loránd大学120名一年级编程学生中的有效性。课程重点是C#中的基础编程模式，包括编写程序规范。我们分析了14746次记录的交互和101名学生完成的课程后调查。用户满意度通过5点Likert量表（turn-level ratings）衡量，而调查评估了可用性、参与度和伦理问题。结果表明，Ask ME能够及时提供与管理和课程相关的查询的上下文相关答案，用户满意度很高（平均4.65/5）。78.06%的人认为Ask ME的Canvas集成减少了平台切换，提高了可用性、参与度、理解力和主题探索。许多学生表示，他们减少了提问的犹豫，增加了自主学习的动力，但也出现了对过度依赖人工智能和减少师生互动的担忧。这项研究表明，DCCI增强了人工智能驱动的教育自动化中LLM的可靠性、学生满意度和参与度，同时强调了平衡的重要性。

🔬 方法详解

问题定义：现有基于LLM的教育助手容易产生幻觉，即生成与课程内容不符或不准确的信息，这会误导学生，降低学习效率，并影响学生对AI助手的信任度。传统的LLM应用缺乏对特定课程内容的感知能力，难以提供定制化的、与课程目标对齐的帮助。

核心思路：DCCI的核心思路是将LLM与LMS系统深度集成，通过动态地从LMS中提取相关的课程内容，并将其作为上下文信息输入到LLM中，从而使LLM能够生成更准确、更相关的回答。这种方法避免了LLM完全依赖自身的知识库，而是利用权威的课程内容来指导其生成过程，从而减少幻觉的发生。

技术框架：DCCI的技术框架主要包括以下几个模块：1) Canvas LMS集成模块：负责与Canvas LMS建立连接，并能够根据学生的提问动态地检索相关的课程内容，例如讲义、作业、讨论区帖子等。2) 提示工程模块：负责将检索到的课程内容和学生的提问组合成一个有效的提示（prompt），该提示能够引导LLM生成期望的回答。3) LLM调用模块：负责将提示发送给LLM，并接收LLM生成的回答。4) 响应呈现模块：负责将LLM生成的回答以友好的方式呈现给学生。整个流程是：学生提问 -> Canvas LMS集成模块检索相关内容 -> 提示工程模块构建提示 -> LLM调用模块生成回答 -> 响应呈现模块展示回答。

关键创新：DCCI最重要的技术创新点在于其动态课程内容集成机制。与传统的静态知识库方法不同，DCCI能够根据学生的具体问题，实时地从LMS中提取相关的课程内容，并将其融入到LLM的上下文窗口中。这种动态集成的方式使得LLM能够更好地理解学生的意图，并生成更准确、更相关的回答。此外，DCCI还采用了提示工程技术，通过精心设计的提示来引导LLM生成期望的回答，进一步提高了LLM的可靠性。

关键设计：DCCI的关键设计包括：1) 课程内容检索策略：如何有效地从LMS中检索到与学生问题最相关的课程内容？这可能涉及到关键词匹配、语义相似度计算等技术。2) 提示构建策略：如何将检索到的课程内容和学生的问题组合成一个有效的提示？这需要考虑提示的长度、格式、以及如何引导LLM生成期望的回答。3) LLM选择：选择哪个LLM作为DCCI的核心引擎？这需要考虑LLM的性能、成本、以及对教育领域的适应性。

📊 实验亮点

实验结果显示，使用DCCI后，学生对AI助手的满意度高达4.65/5。78.06%的学生认为DCCI减少了平台切换，提升了学习效率和参与度。学生提问的犹豫程度降低，自主学习的积极性提高。这些数据表明DCCI在提升学生学习体验方面具有显著效果。

🎯 应用场景

DCCI可广泛应用于各类在线教育平台，提升AI助教的智能化水平，为学生提供个性化、精准的辅导。它能有效缓解教师工作压力，促进大规模个性化教学，并可扩展至企业培训、技能提升等领域，实现知识传递的智能化升级。

📄 摘要（原文）

Integration of Large Language Models (LLMs) with Learning Management Systems (LMSs) can enhance task automation and accessibility in education. However, hallucination where LLMs generate inaccurate or misleading information remains a challenge. This study introduces the Dynamic Course Content Integration (DCCI) mechanism, which dynamically retrieves course content from Canvas LMS and structures it within an LLM's context window via prompt engineering, enabling the LLM-powered assistant, Ask ME, to deliver context-aware, curriculum-aligned responses while mitigating hallucinations. A mixed-methods pilot study grounded in Self-Determination Theory (autonomy, competence) and the Technology Acceptance Model (perceived usefulness, ease of use) evaluated DCCI's effectiveness with 120 first-year programming students at Eötvös Loránd University. The course focused on foundational programming patterns in C#, including writing program specifications. We analyzed 14,746 logged interactions and a post-course survey completed by 101 students. User satisfaction was measured via a 5-point Likert scale (turn-level ratings), while the survey assessed usability, engagement, and ethical concerns. Results indicated high satisfaction (mean 4.65/5) and strong recognition of Ask ME's ability to provide timely, contextually relevant answers to administrative and course-related queries. 78.06% agreed that Ask ME's Canvas integration reduced platform switching, improving usability, engagement, comprehension, and topic exploration. Many students reported reduced hesitation to ask questions and increased motivation for self-directed learning, though concerns about over-reliance on AI and reduced student-teacher interaction emerged. This study demonstrates that DCCI enhances LLM reliability, student satisfaction, and engagement in AI-driven educational automation, while highlighting the importance of balancing