Estimating Item Difficulty Using Large Language Models and Tree-Based Machine Learning Algorithms

📄 arXiv: 2504.08804v1 📥 PDF

作者: Pooya Razavi, Sonya J. Powers

分类: cs.CY, cs.CL, cs.LG

发布日期: 2025-04-09

💡 一句话要点

利用大型语言模型和树模型预测K-5年级数学和阅读题目的难度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 题目难度评估 大型语言模型 树模型 特征工程 教育测评

📋 核心要点

  1. 传统题目难度评估依赖耗时的实地测试，缺乏高效且可扩展的方法。
  2. 利用LLM直接评估和提取认知语言特征，结合树模型预测题目难度。
  3. 基于特征的方法显著提升预测准确性，相关性高达0.87，优于直接LLM预测。

📝 摘要（中文）

通过实地测试评估题目难度通常耗费大量资源和时间。因此，开发仅使用题目内容就能大规模预测题目难度的方法具有重要意义。大型语言模型（LLMs）为此提供了一个新的方向。本研究探讨了使用LLM预测K-5年级数学和阅读评估题目难度（N = 5170）的可行性。研究实施了两种评估方法：（a）直接评估法，即提示LLM为每个题目分配一个难度等级；（b）基于特征的方法，即LLM提取多个认知和语言特征，然后将其用于集成树模型（随机森林和梯度提升）来预测难度。总体而言，直接LLM评估与真实题目难度呈现中等到强的相关性。然而，其准确性因年级而异，通常在低年级表现较差。相比之下，基于特征的方法产生了更强的预测准确性，相关性高达r = 0.87，并且与直接LLM预测和基线回归器相比，误差估计更低。这些发现突出了LLM在简化题目开发和减少对广泛实地测试的依赖方面的潜力，并强调了结构化特征提取的重要性。我们为希望在其题库中实施类似题目难度评估方法的测试专业人员提供了一个七步工作流程。

🔬 方法详解

问题定义：本研究旨在解决题目难度评估中耗时耗力的问题。传统的实地测试方法成本高昂，且难以快速评估大量题目的难度。因此，需要一种能够仅基于题目内容就能高效预测题目难度的方法。

核心思路：核心思路是利用大型语言模型（LLMs）的强大语言理解和生成能力，从题目文本中提取有用的特征，并结合机器学习模型来预测题目难度。通过两种方法实现：直接评估和基于特征的评估。

技术框架：整体框架包含两个主要阶段：1) LLM特征提取阶段：使用LLM直接评估题目难度或提取认知和语言特征。2) 机器学习模型训练阶段：使用提取的特征训练树模型（随机森林和梯度提升）来预测题目难度。对于直接评估，直接提示LLM输出难度等级。对于基于特征的方法，LLM被用于提取题目中的认知和语言特征，例如词汇复杂度和句法结构。

关键创新：关键创新在于将LLM与树模型相结合，利用LLM的特征提取能力和树模型的预测能力，从而更准确地预测题目难度。与直接使用LLM进行难度评估相比，基于特征的方法能够更好地捕捉题目中的复杂信息，并提高预测准确性。

关键设计：研究中使用了两种集成树模型：随机森林和梯度提升。这些模型具有较强的非线性建模能力和泛化能力。LLM使用的具体模型未知，但研究中强调了提示工程的重要性，即如何设计合适的提示语来引导LLM提取有用的特征。对于特征工程，研究人员可能探索了不同的认知和语言特征，并评估了它们对预测准确性的影响。具体参数设置和损失函数在论文中未明确说明，属于未知信息。

📊 实验亮点

实验结果表明，基于特征的方法显著优于直接LLM评估和基线回归器，相关性高达r = 0.87。这表明通过LLM提取认知和语言特征，并结合树模型进行预测，能够更准确地评估题目难度。该方法在简化题目开发流程和降低测评成本方面具有巨大潜力。

🎯 应用场景

该研究成果可应用于教育测评领域，帮助教育机构和教师更高效地开发和筛选题目，减少对大规模实地测试的依赖。通过自动化的题目难度评估，可以显著降低测评成本，并加速题目开发周期。此外，该方法还可以用于个性化学习，根据学生的水平动态调整题目难度。

📄 摘要（原文）

Estimating item difficulty through field-testing is often resource-intensive and time-consuming. As such, there is strong motivation to develop methods that can predict item difficulty at scale using only the item content. Large Language Models (LLMs) represent a new frontier for this goal. The present research examines the feasibility of using an LLM to predict item difficulty for K-5 mathematics and reading assessment items (N = 5170). Two estimation approaches were implemented: (a) a direct estimation method that prompted the LLM to assign a single difficulty rating to each item, and (b) a feature-based strategy where the LLM extracted multiple cognitive and linguistic features, which were then used in ensemble tree-based models (random forests and gradient boosting) to predict difficulty. Overall, direct LLM estimates showed moderate to strong correlations with true item difficulties. However, their accuracy varied by grade level, often performing worse for early grades. In contrast, the feature-based method yielded stronger predictive accuracy, with correlations as high as r = 0.87 and lower error estimates compared to both direct LLM predictions and baseline regressors. These findings highlight the promise of LLMs in streamlining item development and reducing reliance on extensive field testing and underscore the importance of structured feature extraction. We provide a seven-step workflow for testing professionals who would want to implement a similar item difficulty estimation approach with their item pool.