Rubric Spans are Label Representations: Joint LLM Encoding for Short Answer Scoring
作者: Zhifan Sun, Sebastian Gombert, Fabian Zehner, Leon Camus, Longwei Cong, Hendrik Drachsler
分类: cs.CL
发布日期: 2026-10-07
备注: EMNLP2026 Main
💡 一句话要点
提出RUSPAN框架以提升短答案评分的准确性与效率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自动评分 短答案评分 语言模型 评分标准 教育评估 机器学习
📋 核心要点
- 现有的自动短答案评分方法在处理不同评分标准时效率低下，且容易过拟合于特定的评分模式。
- 本文提出的RUSPAN框架通过将评分标准描述视为语义标签表示，优化了评分过程，并引入了Rubric-Independent Mask以增强模型的泛化能力。
- 在六个多语言的ASAS基准测试中，RUSPAN在评分准确性上显著优于现有的判别和生成基线，特别是在面对评分标准结构变化时表现出色。
📝 摘要（中文）
自动短答案评分（ASAS）需要能够根据特定问题标准对学生回答进行评分的模型，同时在不同评分标准间保持高效和可迁移性。本文提出了RUSPAN，一个以评分标准为条件的ASAS框架，将评分标准描述视为语义标签表示。RUSPAN将问题上下文、学生答案及所有候选评分标准序列化为单一序列，并在一次语言模型传递中从评分标准跨度和整个序列表示中进行评分。此外，我们引入了RUSPAN-RIM，其中Rubric-Independent Mask防止评分标准跨度相互关注，使得评分标准表示仅依赖于答案和问题上下文，从而在训练过程中防止对评分标准模式的过拟合，实现零-shot迁移。在涵盖英语、德语和葡萄牙语的六个ASAS基准测试中，RUSPAN在单一基准评分上优于判别和生成基线，而RIM结合位置重索引在PT-ASAG基准上提供了一致且显著的提升。
🔬 方法详解
问题定义：本文旨在解决自动短答案评分（ASAS）中模型对不同评分标准的适应性不足和过拟合问题。现有方法在面对多样化评分标准时，往往效率低下且难以迁移。
核心思路：RUSPAN框架通过将评分标准描述视为语义标签表示，利用单一序列化输入来同时处理问题上下文、学生答案及候选评分标准，从而提高评分的效率和准确性。
技术框架：RUSPAN的整体架构包括三个主要模块：问题上下文、学生答案和评分标准的序列化输入；通过语言模型进行一次性评分；以及Rubric-Independent Mask的应用，以确保评分标准之间的独立性。
关键创新：RUSPAN的主要创新在于将评分标准描述视为语义标签表示，并引入Rubric-Independent Mask，避免了评分标准之间的相互干扰，从而提升了模型的泛化能力和零-shot迁移性能。
关键设计：在模型设计中，采用了位置重索引技术，以增强模型对评分标准的适应性。此外，损失函数的设计考虑了评分标准的独立性，确保模型在训练过程中不会过拟合于特定的评分模式。
🖼️ 关键图片
📊 实验亮点
在六个ASAS基准测试中，RUSPAN在单一基准评分上超越了判别和生成基线，尤其在PT-ASAG基准上，结合位置重索引的RIM模型实现了显著的性能提升，具体提升幅度未知，显示出其在处理评分标准结构变化时的强大能力。
🎯 应用场景
该研究的潜在应用领域包括教育评估、在线学习平台和智能辅导系统。通过提高短答案评分的准确性和效率，RUSPAN可以帮助教师更好地评估学生的学习成果，并为学生提供更及时的反馈，促进个性化学习。未来，该框架有望在多语言教育环境中得到广泛应用，提升全球教育质量。
📄 摘要（原文）
Automatic Short Answer Scoring (ASAS) requires models that can score student responses against question-specific criteria while remaining efficient and transferable across rubric sets. We propose RUSPAN, a rubric-conditioned ASAS framework that treats rubric descriptions as semantic label representations. RUSPAN serialises the question context, student answer, and all candidate rubric levels into a single sequence, then scores the levels listwise from the rubric-span and whole-sequence representations produced in a single LM pass. We further introduce RUSPAN-RIM, in which a Rubric-Independent Mask prevents rubric spans from attending to one another, making rubric representations depend only on the answer and question context and preventing overfitting to rubric patterns during training for zero-shot transfer. On six ASAS benchmarks spanning English, German, and Portuguese, RUSPAN improves mono-benchmark scoring over discriminative and generative baselines, while RIM with position reindexing delivers consistent and substantial gains on PT-ASAG, the held-out benchmark with the strongest combined language and rubric-structure shift.