Data Science Students Perspectives on Learning Analytics: An Application of Human-Led and LLM Content Analysis

📄 arXiv: 2502.10409v1 📥 PDF

作者: Raghda Zahran, Jianfei Xu, Huizhi Liang, Matthew Forshaw

分类: cs.CY, cs.AI, cs.ET, stat.AP

发布日期: 2025-01-22

备注: 17 Pages, 2 Tables, 1 Figure

💡 一句话要点

结合RAG和LLM，分析数据科学学生对学习分析的视角

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 学习分析 大语言模型 检索增强生成 数据科学教育 学生视角

📋 核心要点

  1. 现有学习分析方法难以充分捕捉学生对学习分析的个性化需求和理解。
  2. 结合RAG和LLM，辅助人工分析学生提交的作业，挖掘学生对学习分析的深层理解。
  3. 通过分析学生小组作业，揭示了学生对学习分析的多元视角，并验证了该方法的有效性。

📝 摘要（中文）

本研究是英国一所大学旨在深入了解学生对学习分析的看法的系列举措之一，旨在探究学生视角与学习需求之间的关联。研究探索了研究生对开放大学学习分析数据集（OULAD）的协同数据处理。采用定性方法，将检索增强生成（RAG）和大语言模型（LLM）技术与人工主导的内容分析相结合，以收集基于学生提交作业的观点信息。研究涉及12个小组的72名研究生。小组工作的分析揭示了学生对基本学习分析的各种见解。所有小组都采用了结构化的数据科学方法。小组提出的问题被分为七个主题，反映了他们感兴趣的特定领域。虽然解释相关性的变量选择有所不同，但对总体结果达成了一致。研究表明，数据科学专业的学生对学习分析有更深入的理解，并通过分析得出的推论有效地表达了他们的兴趣。人工主导的内容分析提供了对学生观点的总体理解，而LLM则提供了细致的见解。

🔬 方法详解

问题定义：本研究旨在深入了解数据科学专业的学生对学习分析的看法，并探索如何利用这些看法来改进学习分析方法。现有方法主要依赖于预定义的指标和问卷调查，难以捕捉学生在实际数据分析过程中产生的细致见解和个性化需求。

核心思路：本研究的核心思路是将人工主导的内容分析与RAG和LLM技术相结合，以更全面、深入地挖掘学生在分析开放大学学习分析数据集（OULAD）时所表达的观点。RAG和LLM可以辅助人工分析，提取关键信息，并提供更细致的见解。

技术框架：该研究的技术框架主要包括以下几个阶段：1) 数据收集：收集72名研究生在12个小组中完成的OULAD分析报告。2) 人工主导的内容分析：研究人员对学生报告进行初步分析，形成对学生观点的总体理解。3) RAG和LLM辅助分析：利用RAG技术从报告中检索相关信息，并使用LLM对检索到的信息进行分析和总结，提取关键主题和见解。4) 结果整合：将人工分析和LLM分析的结果进行整合，形成对学生观点的全面理解。

关键创新：本研究的关键创新在于将RAG和LLM技术应用于学习分析领域，并将其与人工主导的内容分析相结合。这种混合方法可以克服传统方法的局限性，更有效地挖掘学生在实际数据分析过程中产生的细致见解。

关键设计：研究中使用的LLM的具体模型未知。RAG的具体实现细节，例如检索策略和增强方式，也未知。研究重点在于展示这种混合方法在学习分析中的应用潜力，而非优化特定模型的性能。

🖼️ 关键图片

fig_0

📊 实验亮点

研究发现，数据科学专业的学生对学习分析有更深入的理解，能够有效地表达他们的兴趣。通过分析学生小组作业，揭示了学生对学习分析的多元视角，并验证了RAG和LLM辅助人工分析在学习分析中的有效性。虽然各组选择的变量有所不同，但对总体结果达成了一致。

🎯 应用场景

该研究成果可应用于改进学习分析工具和教学策略，使其更贴合学生的实际需求和学习风格。通过深入了解学生对学习分析的看法，教育机构可以更好地利用数据来提升教学质量和学习效果。该方法也可推广到其他教育领域，例如课程设计和评估。

📄 摘要（原文）

Objective This study is part of a series of initiatives at a UK university designed to cultivate a deep understanding of students' perspectives on analytics that resonate with their unique learning needs. It explores collaborative data processing undertaken by postgraduate students who examined an Open University Learning Analytics Dataset (OULAD). Methods A qualitative approach was adopted, integrating a Retrieval-Augmented Generation (RAG) and a Large Language Model (LLM) technique with human-led content analysis to gather information about students' perspectives based on their submitted work. The study involved 72 postgraduate students in 12 groups. Findings The analysis of group work revealed diverse insights into essential learning analytics from the students' perspectives. All groups adopted a structured data science methodology. The questions formulated by the groups were categorised into seven themes, reflecting their specific areas of interest. While there was variation in the selected variables to interpret correlations, a consensus was found regarding the general results. Conclusion A significant outcome of this study is that students specialising in data science exhibited a deeper understanding of learning analytics, effectively articulating their interests through inferences drawn from their analyses. While human-led content analysis provided a general understanding of students' perspectives, the LLM offered nuanced insights.