How Large Language Models Are Changing MOOC Essay Answers: A Comparison of Pre- and Post-LLM Responses
作者: Leo Leppänen, Lili Aunimo, Arto Hellas, Jukka K. Nurminen, Linda Mannila
分类: cs.CY, cs.CL
发布日期: 2025-04-17
备注: 10 pages, 4 figures
💡 一句话要点
分析LLM对MOOC论文作答的影响：对比ChatGPT前后学生提交的AI伦理论文
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 在线教育 MOOC 学生论文 AI伦理
📋 核心要点
- 学术界对ChatGPT等LLM工具既有期待，也存在对学术不端行为增加的担忧。
- 该研究对比分析了ChatGPT发布前后MOOC学生论文，量化评估LLM对在线教育的影响。
- 研究发现学生论文的长度、风格以及AI相关关键词的使用频率在ChatGPT发布后发生了显著变化。
📝 摘要（中文）
本文量化分析了大型语言模型（LLM）的出现对在线教育的影响。通过分析多年来学生在关于AI伦理的免费大学MOOC课程中提交的论文数据集，该数据集包括ChatGPT发布前后的论文。研究发现，ChatGPT的发布与学生论文的长度和风格发生了显著变化相吻合，这与其他背景（如学术出版）中的观察结果相似。此外，正如相关公开讨论所预期的那样，与AI和LLM相关的关键内容词的流行程度也发生了变化，但通过（动态）主题建模识别的学生论文中讨论的一般主题或话题不一定发生变化。
🔬 方法详解
问题定义：该论文旨在量化分析大型语言模型（LLM），特别是ChatGPT的发布，对在线教育中学生论文写作的影响。现有的问题是，ChatGPT等工具的出现可能导致学术不端行为的增加，并且改变学生的写作风格和内容，但这些影响缺乏具体的量化分析。
核心思路：论文的核心思路是通过对比分析ChatGPT发布前后学生在MOOC课程中提交的论文，来量化评估LLM对学生写作风格、内容和主题的影响。通过分析论文的长度、风格、关键词使用情况以及主题建模结果，来揭示LLM对学生写作行为的改变。
技术框架：该研究的技术框架主要包括以下几个步骤：1)收集MOOC课程中学生提交的论文数据集，包括ChatGPT发布前后的数据；2)对论文进行预处理，包括文本清洗、分词等；3)分析论文的长度和风格，例如计算平均字数、句子长度等；4)分析关键词的使用情况，例如统计与AI和LLM相关的关键词的频率；5)使用动态主题建模技术识别论文中的主题，并比较ChatGPT发布前后主题的变化。
关键创新：该研究的关键创新在于利用真实的学生论文数据集，量化分析了LLM对在线教育的影响。以往的研究主要集中在LLM生成文本的质量和应用，而该研究关注的是LLM对学生写作行为的实际影响，具有重要的教育意义。
关键设计：该研究的关键设计包括：1)选择AI伦理MOOC课程作为研究对象，因为该领域与LLM密切相关；2)使用动态主题建模技术，可以捕捉到论文主题随时间的变化；3)对比分析ChatGPT发布前后学生论文的差异，可以更准确地评估LLM的影响。具体的参数设置和损失函数等技术细节在论文中没有详细描述，属于未知信息。
🖼️ 关键图片
📊 实验亮点
研究发现，ChatGPT发布后，学生论文的长度和风格发生了显著变化，与AI和LLM相关的关键词使用频率也发生了变化。然而，通过主题建模发现，学生论文中讨论的一般主题或话题并没有发生显著变化。具体性能数据和提升幅度在论文中没有明确给出。
🎯 应用场景
该研究结果可应用于在线教育平台，帮助教师了解LLM对学生写作的影响，并制定相应的教学策略。同时，该研究也为评估LLM对其他教育领域的影响提供了参考，有助于更好地利用LLM促进教育发展，并防范潜在的学术不端行为。
📄 摘要（原文）
The release of ChatGPT in late 2022 caused a flurry of activity and concern in the academic and educational communities. Some see the tool's ability to generate human-like text that passes at least cursory inspections for factual accuracy ``often enough'' a golden age of information retrieval and computer-assisted learning. Some, on the other hand, worry the tool may lead to unprecedented levels of academic dishonesty and cheating. In this work, we quantify some of the effects of the emergence of Large Language Models (LLMs) on online education by analyzing a multi-year dataset of student essay responses from a free university-level MOOC on AI ethics. Our dataset includes essays submitted both before and after ChatGPT's release. We find that the launch of ChatGPT coincided with significant changes in both the length and style of student essays, mirroring observations in other contexts such as academic publishing. We also observe -- as expected based on related public discourse -- changes in prevalence of key content words related to AI and LLMs, but not necessarily the general themes or topics discussed in the student essays as identified through (dynamic) topic modeling.