The Role of Implicit and Explicit Demographic Signals in Large Language Model-based Student Assessment
作者: Donya Rooein, Luca Benedetto, Dirk Hovy
分类: cs.CL, cs.AI, cs.CY
发布日期: 2026-09-15
备注: EMNLP 2026 Findings
💡 一句话要点
探讨人口统计信号对大语言模型学生评估的影响
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 学生评估 人口统计信号 自动评分 形成性反馈 教育技术 模型偏见
📋 核心要点
- 现有的大语言模型在学生评估中可能受到人口统计特征的影响，但缺乏系统研究，可能导致不公平的评分。
- 论文通过设置显性和隐性人口统计信号的控制性提示，探讨其对模型评分和反馈的影响，旨在揭示模型的敏感性。
- 实验结果显示，模型在显性条件下调整反馈的可读性，而在隐性条件下则出现了不可预测的偏见，尤其是在问题回答中。
📝 摘要（中文）
大语言模型在学生评估中越来越普遍，但我们对学生人口统计特征如何影响其使用知之甚少。考虑学生的人口统计特征有时是必要的，例如，为教育水平较低的用户提高可读性。然而，这也可能导致歧视，例如，给来自低社会经济背景的学生打低分。我们设置了控制性提示来测试显性和隐性人口统计效应，并在自动作文评分、形成性反馈和元语言问题回答三个任务中进行了实验。结果表明，模型会根据人口统计线索调整评分、反馈和答案，且在显性情况下，反馈的可读性会根据教育水平进行调整，而隐性条件则产生不可预测的偏见。我们的研究提供了大语言模型在教育评估任务中对人口统计敏感性的明确证据。
🔬 方法详解
问题定义：本论文旨在解决大语言模型在学生评估中对人口统计特征敏感性的问题，现有方法未能充分考虑这一因素，可能导致评分不公。
核心思路：通过设计显性和隐性的人口统计信号提示，研究其对模型评分和反馈的影响，旨在揭示模型在教育评估中的潜在偏见。
技术框架：整体架构包括三个主要任务：自动作文评分、形成性反馈和元语言问题回答。每个任务中，模型在接收到不同类型的人口统计信号后进行评估。
关键创新：论文的创新在于系统地比较显性和隐性人口统计信号对模型输出的影响，揭示了模型在不同条件下的偏见表现，填补了相关研究的空白。
关键设计：实验中使用了六种最先进的大语言模型，设计了控制性提示以确保实验的可重复性，关注模型在不同教育水平下的反馈可读性调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在显性条件下，模型能够根据教育水平调整反馈的可读性，而在隐性条件下，低教育水平的回答往往获得较低的情感评分。这一发现强调了大语言模型在教育评估中可能存在的偏见，具有重要的警示意义。
🎯 应用场景
该研究的潜在应用领域包括教育技术、在线学习平台和智能评估系统。通过理解大语言模型对人口统计信号的敏感性，可以优化学生评估过程，确保公平性和有效性，进而提升教育质量和可及性。
📄 摘要（原文）
Large Language Models are now common in student assessment, but we know little about how student demographics affect their use. Sometimes, considering student demographics may be necessary -- for example, to improve readability for users with lower educational levels. However, it also risks being a cause of discrimination, e.g., when assigning lower scores to students from lower socioeconomic backgrounds. We set up controlled prompts to test 1) explicit demographic effects, where we mention demographic details directly, and 2) implicit effects, where we use conversation history as a demographic signal. We test these settings in three tasks: Automated Essay Scoring, Formative Feedback, and Metalinguistic Question Answering. We test six state-of-the-art LLMs on these tasks. In both explicit and implicit cases, the models pick up on demographic cues and can change their scoring, feedback, and answers accordingly. We find that LLMs frequently adjust the readability of feedback to education levels when these are explicitly mentioned. On the other hand, implicit conditions produce unpredictable biases, such as in question answering, where responses from lower-education levels receive lower sentiment scores. Our results provide clear evidence of demographic sensitivity in LLMs for educational assessment tasks.