When Rubrics Change: Cross-Rubric Generalization for Critical Thinking Essay Scoring
作者: Nischal Ashok Kumar, Payu Wittawatolarn, Sana Kang, Marisa C. Peczuh, Blair Lehman, Ryan Baker, Caitlin Mills, Sherry Lachman, Ruochen Sun, Andrew Lan
分类: cs.CL, cs.CY
发布日期: 2026-07-15
备注: Published in AI for Education Day at SIGKDD 2026
💡 一句话要点
提出跨评分标准泛化方法以提升自动化作文评分效果
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自动化作文评分 跨评分标准 批判性思维 大型语言模型 特征表示 教育评估 机器学习
📋 核心要点
- 现有的自动化作文评分方法主要关注跨提示泛化，未能有效应对评分标准变化带来的挑战。
- 本文提出了一种基于特征的中间表示和目标作文监督的微调框架，以实现跨评分标准的泛化能力。
- 实验结果显示，使用特征的模型在最困难的设置下宏F1提升了5.0%，并且在与其他模型的对比中表现优越。
📝 摘要（中文）
自动化作文评分（AES）研究主要集中在跨提示泛化，即在评分标准保持不变的情况下对未见提示的作文进行评分。然而，教育工作者在评分任务中可能会修订或引入新的评分标准，以评估作文的不同方面。本文研究了跨评分标准泛化：在一组评分标准下训练的作文上进行评估，而这些评分标准在训练时是未见的。我们采用了一个大型语言模型（LLM）微调框架，包含两个组件：与评分标准无关的中间表示（称为特征）和在训练期间对已见评分标准的目标作文监督。实验结果表明，特征在最困难的设置下使宏F1提高了5.0%。
🔬 方法详解
问题定义：本文解决的问题是如何在评分标准变化的情况下进行有效的自动化作文评分。现有方法通常假设评分标准不变，无法适应教育者可能引入的新评分标准。
核心思路：论文的核心思路是通过引入与评分标准无关的中间表示（特征）和在训练期间对已见评分标准的目标作文监督，来提升模型在未见评分标准下的泛化能力。
技术框架：整体架构包括两个主要模块：第一，特征模块用于生成与评分标准无关的中间表示；第二，目标作文监督模块在训练阶段使用已见评分标准进行指导。
关键创新：最重要的技术创新点在于引入特征作为中间表示，允许模型在面对不同评分标准时仍能保持较好的性能。这与传统方法的设计思路有本质区别。
关键设计：在模型训练中，采用了特征作为中间表示，并通过控制目标作文的监督来优化模型性能。具体的损失函数和网络结构设计在实验中经过精细调整，以确保模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用特征的模型在最困难的设置下宏F1提升了5.0%，并且在与GPT-5-mini的对比中，表现出2.1%的优势，尽管略低于GPT-5的表现。这表明特征基础的中间结构和控制监督显著改善了对未见评分标准的泛化能力。
🎯 应用场景
该研究的潜在应用领域包括教育评估、在线学习平台和作文评分系统。通过提升自动化评分的准确性和适应性，能够为教育工作者提供更有效的工具，帮助他们更好地评估学生的批判性思维能力，进而改善教学效果。未来，该方法可能会影响更广泛的教育技术应用，促进个性化学习的发展。
📄 摘要（原文）
Automated essay scoring (AES) research has largely focused on cross-prompt generalization, where essays from unseen prompts are scored while the scoring criteria are typically held constant. In practice, however, educators may revise or even introduce new rubrics in their scoring task, to evaluate different aspects of essays. We study cross-rubric generalization: training on essays labeled under one set of rubrics and evaluating on previously unseen rubrics, which target different aspects of the essay. We use a Large Language Model (LLM) fine-tuning framework with two components: rubric-agnostic intermediate representations, called traits, and target-essay supervision under seen rubrics during training. On an AES dataset augmented with multiple rubric-defined labels of student critical thinking skills, we find that traits improve macro F1 by 5.0% over a baseline without traits in the hardest setting, where both target rubrics and target essays are unseen during training. We further find that increasing target-essay supervision improves performance, with our best fine-tuned open-source Llama-based model outperforming GPT-5-mini prompting by 2.1% macro F1 and trailing GPT-5 by 1.9%. These results show that trait-based intermediate structure and controlled supervision improve generalization to unseen rubrics.