Generating and Evaluating Tests for K-12 Students with Language Model Simulations: A Case Study on Sentence Reading Efficiency

📄 arXiv: 2310.06837v1 📥 PDF

作者: Eric Zelikman, Wanjing Anya Ma, Jasmine E. Tran, Diyi Yang, Jason D. Yeatman, Nick Haber

分类: cs.CL, cs.LG

发布日期: 2023-10-10

备注: Accepted to EMNLP 2023 (Main)

💡 一句话要点

提出基于语言模型的测试生成方法以提升K-12学生阅读评估效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 教育测试 语言模型 K-12教育 阅读评估 平行测试 心理测量 生成模型

📋 核心要点

  1. 现有的教育测试开发过程复杂且耗时，难以快速生成高质量的平行测试以监测学生进展。
  2. 本研究通过微调大型语言模型，模拟学生对未见测试项目的反应，从而生成符合心理测量标准的测试项目。
  3. 实验结果表明，生成的测试与专家撰写的标准测试得分高度相关，验证了该方法的有效性和可靠性。

📝 摘要（中文）

开发教育测试通常成本高昂且耗时，因为每个测试项目必须由专家撰写并通过收集数百名学生的反馈进行评估。本研究聚焦于无声句子阅读效率测试，旨在评估学生的阅读能力。我们提出通过微调大型语言模型（LLMs）来模拟学生对未见项目的反应，从而生成高质量的平行测试。使用GPT-4生成新测试项目，并通过心理测量标准过滤，最终生成的测试与原测试的难度和可靠性高度相关，验证结果显示生成测试与专家撰写的标准测试得分高度相关（r=0.93）。

🔬 方法详解

问题定义：本研究旨在解决K-12教育测试开发中的高成本和低效率问题，现有方法依赖专家撰写和评估，难以快速生成平行测试以监测学生进展。

核心思路：通过微调大型语言模型（LLMs），模拟学生对未见测试项目的反应，从而生成高质量的测试项目，并评估其难度和模糊性。

技术框架：整体流程包括使用GPT-4生成新测试项目，随后应用微调的LLM根据心理测量标准对项目进行过滤，最后采用最优运输技术生成平行测试。

关键创新：本研究的创新在于结合语言模型的生成能力与心理测量标准，生成的测试在难度和可靠性上与专家撰写的测试高度一致。

关键设计：在生成过程中，设置了专家制定的规则作为生成标准，并通过心理测量标准对生成项目进行筛选，确保生成测试的质量和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，生成的测试与专家撰写的标准测试得分高度相关（r=0.93），验证了该方法的有效性。生成测试的难度和可靠性与原测试相符，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括教育评估、个性化学习和智能教育系统。通过高效生成平行测试，可以更好地监测学生的学习进展，提升教育质量，未来可能在教育技术领域产生深远影响。

📄 摘要（原文）

Developing an educational test can be expensive and time-consuming, as each item must be written by experts and then evaluated by collecting hundreds of student responses. Moreover, many tests require multiple distinct sets of questions administered throughout the school year to closely monitor students' progress, known as parallel tests. In this study, we focus on tests of silent sentence reading efficiency, used to assess students' reading ability over time. To generate high-quality parallel tests, we propose to fine-tune large language models (LLMs) to simulate how previous students would have responded to unseen items. With these simulated responses, we can estimate each item's difficulty and ambiguity. We first use GPT-4 to generate new test items following a list of expert-developed rules and then apply a fine-tuned LLM to filter the items based on criteria from psychological measurements. We also propose an optimal-transport-inspired technique for generating parallel tests and show the generated tests closely correspond to the original test's difficulty and reliability based on crowdworker responses. Our evaluation of a generated test with 234 students from grades 2 to 8 produces test scores highly correlated (r=0.93) to those of a standard test form written by human experts and evaluated across thousands of K-12 students.