Do LLMs Make Mistakes Like Students? Exploring Natural Alignment between Language Models and Human Error Patterns

📄 arXiv: 2502.15140v1 📥 PDF

作者: Naiming Liu, Shashank Sonkar, Richard G. Baraniuk

分类: cs.CL, cs.HC

发布日期: 2025-02-21

💡 一句话要点

研究LLM在多选题中犯错模式与学生错误的自然对齐性，为教育评估提供新思路。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多项选择题 教育评估 干扰项生成 学生错误模式

📋 核心要点

  1. 现有方法缺乏对LLM在教育场景下错误模式与人类学生错误模式之间对齐性的深入研究。
  2. 该研究通过分析LLM在多选题中的生成概率和学生选择分布，揭示LLM与学生错误模式的关联。
  3. 实验结果表明，LLM在犯错时倾向于选择学生常犯的错误选项，为自动生成高质量干扰项提供了可能。

📝 摘要（中文）

大型语言模型(LLM)在各种教育任务中表现出卓越的能力，但它们与人类学习模式的对齐性，尤其是在预测学生在多项选择题(MCQ)中最可能选择的错误选项方面，仍未得到充分探索。本研究调查了LLM生成可能性与MCQ中学生回答分布之间的关系，特别关注干扰项的选择。我们收集了一个包含真实学生回答分布的MCQ综合数据集，以探索两个基本研究问题：(1). 学生更频繁选择的干扰项是否对应于LLM分配更高生成可能性的干扰项？(2). 当LLM选择错误选项时，它是否会选择大多数学生选择的相同干扰项？实验表明，LLM分配的概率与MCQ中干扰项的学生选择模式之间存在中等程度的相关性。此外，当LLM犯错时，它们更可能选择与学生常犯的错误答案相同的答案，这种模式在小型和大型语言模型中是一致的。我们的工作提供了经验证据，表明尽管LLM在生成教育内容方面表现出色，但在识别混淆性干扰项方面，LLM的底层推理过程与人类认知过程之间仍然存在差距。我们的发现对教育评估开发具有重要意义。较小的语言模型可以有效地用于自动干扰项生成，因为它们在识别混淆性答案选项方面表现出与较大的语言模型相似的模式。这种观察到的LLM与学生错误概念模式之间的对齐为生成高质量干扰项开辟了新的机会，这些干扰项可以补充传统的人工设计的干扰项。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLM）在解决多项选择题（MCQ）时，其犯错模式与学生犯错模式之间的关系。现有方法缺乏对这种关系的深入理解，导致无法有效利用LLM来辅助教育评估，例如自动生成高质量的干扰项。

核心思路：论文的核心思路是分析LLM在MCQ中对不同选项（包括正确答案和干扰项）的生成概率，并将其与真实学生在相同MCQ中的选择分布进行比较。通过这种比较，可以揭示LLM是否倾向于选择学生容易混淆的干扰项，从而评估LLM与学生错误模式的对齐程度。

技术框架：该研究主要包含以下几个阶段：1) 构建包含真实学生回答分布的MCQ数据集；2) 使用不同规模的LLM对MCQ进行预测，并记录LLM对每个选项的生成概率；3) 分析LLM生成概率与学生选择分布之间的相关性；4) 评估当LLM犯错时，其选择的错误选项是否与学生常犯的错误选项一致。

关键创新：该研究最重要的技术创新点在于，它首次系统性地研究了LLM在教育场景下的错误模式与人类学生错误模式之间的对齐性。通过分析LLM的生成概率和学生的选择分布，揭示了LLM在识别混淆性干扰项方面的能力，为利用LLM辅助教育评估提供了新的思路。

关键设计：论文的关键设计包括：1) 构建了一个包含真实学生回答分布的MCQ数据集，保证了研究的可靠性；2) 使用了不同规模的LLM，以评估模型规模对错误模式的影响；3) 采用了相关性分析和错误选项一致性分析等方法，对LLM的生成概率和学生选择分布进行了深入的比较。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，LLM分配的概率与MCQ中干扰项的学生选择模式之间存在中等程度的相关性。更重要的是，当LLM犯错时，它们更可能选择与学生常犯的错误答案相同的答案，这种模式在小型和大型语言模型中是一致的。这表明即使是较小的语言模型也可以有效地用于自动干扰项生成。

🎯 应用场景

该研究成果可应用于教育评估领域，例如自动生成高质量的干扰项，辅助教师设计更具挑战性的试题。此外，通过分析LLM的错误模式，可以帮助学生更好地理解自己的学习误区，从而提高学习效率。未来，该研究还可以扩展到其他教育场景，例如个性化学习推荐和智能辅导系统。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated remarkable capabilities in various educational tasks, yet their alignment with human learning patterns, particularly in predicting which incorrect options students are most likely to select in multiple-choice questions (MCQs), remains underexplored. Our work investigates the relationship between LLM generation likelihood and student response distributions in MCQs with a specific focus on distractor selections. We collect a comprehensive dataset of MCQs with real-world student response distributions to explore two fundamental research questions: (1). RQ1 - Do the distractors that students more frequently select correspond to those that LLMs assign higher generation likelihood to? (2). RQ2 - When an LLM selects a incorrect choice, does it choose the same distractor that most students pick? Our experiments reveals moderate correlations between LLM-assigned probabilities and student selection patterns for distractors in MCQs. Additionally, when LLMs make mistakes, they are more likley to select the same incorrect answers that commonly mislead students, which is a pattern consistent across both small and large language models. Our work provides empirical evidence that despite LLMs' strong performance on generating educational content, there remains a gap between LLM's underlying reasoning process and human cognitive processes in identifying confusing distractors. Our findings also have significant implications for educational assessment development. The smaller language models could be efficiently utilized for automated distractor generation as they demonstrate similar patterns in identifying confusing answer choices as larger language models. This observed alignment between LLMs and student misconception patterns opens new opportunities for generating high-quality distractors that complement traditional human-designed distractors.