EssayCBM: Rubric-Aligned Concept Bottleneck Models for Transparent Essay Grading
作者: Kumar Satvik Chaudhary, Chengshuai Zhao, Fan Zhang, Yung Hin Tse, Garima Agrawal, Yuli Deng, Huan Liu
分类: cs.CL
发布日期: 2025-12-23
💡 一句话要点
EssayCBM：一种基于规则对齐概念瓶颈模型的透明作文评分方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 作文评分 可解释性AI 概念瓶颈模型 自然语言处理 教育技术
📋 核心要点
- 现有作文自动评分系统，特别是基于大型语言模型的系统，缺乏透明度和可解释性，难以理解其评分依据。
- EssayCBM通过引入概念瓶颈，将作文评分分解为多个可解释的写作概念，从而实现透明的评分过程。
- EssayCBM在匹配黑盒模型性能的同时，提供概念层面的反馈，并允许人工干预，提升评分的可信度和可控性。
📝 摘要（中文）
理解自动评分系统如何评估作文对教育者和学生来说仍然是一个重大挑战，特别是当大型语言模型作为黑盒运行时。我们引入了EssayCBM，这是一个规则对齐的框架，它优先考虑作文评估中的可解释性。EssayCBM不是直接从文本预测分数，而是通过编码器上的专用预测头评估八个写作概念，例如论点清晰度和证据使用。这些概念分数形成了一个透明的瓶颈，一个轻量级网络仅使用概念来计算最终分数。教师可以调整概念预测并立即查看更新后的分数，从而实现可问责的人工参与评估。EssayCBM在提供可操作的、概念层面的反馈的同时，匹配了黑盒模型的性能，并通过直观的Web界面实现。
🔬 方法详解
问题定义：现有基于大型语言模型的作文评分系统如同黑盒，难以理解其评分依据，导致教育者和学生难以信任和改进。缺乏透明度也阻碍了对评分标准的有效反馈和调整。
核心思路：EssayCBM的核心思路是将作文评分过程分解为多个可解释的写作概念（如论点清晰度、证据使用等），通过预测这些概念的分数来形成一个透明的“瓶颈”。最终评分仅基于这些概念分数，从而实现评分过程的可解释性和可控性。
技术框架：EssayCBM包含以下主要模块：1) 编码器：将作文文本编码为向量表示；2) 概念预测头：基于编码后的向量，预测各个写作概念的分数；3) 评分网络：基于概念分数，预测最终的作文分数。教师可以通过Web界面调整概念预测，并实时查看对最终评分的影响。
关键创新：EssayCBM的关键创新在于引入了“概念瓶颈”这一中间层，将黑盒评分过程分解为多个可解释的概念。这种设计使得评分过程更加透明，并允许人工干预和调整，从而提升了评分的可信度和可控性。与直接预测分数相比，这种方法更易于理解和调试。
关键设计：论文中使用了针对不同写作概念的预测头，每个预测头负责预测一个概念的分数。评分网络是一个轻量级的网络，例如线性回归模型，它将概念分数作为输入，输出最终的作文分数。损失函数包括概念预测的损失和最终评分的损失，通过联合优化来训练整个模型。
🖼️ 关键图片
📊 实验亮点
EssayCBM在作文评分任务上取得了与黑盒模型相当的性能，同时提供了可解释的概念层面的反馈。通过人工调整概念预测，可以实时查看对最终评分的影响，从而实现可问责的人工参与评估。实验结果表明，EssayCBM在保持评分准确性的同时，显著提升了评分过程的透明度和可控性。
🎯 应用场景
EssayCBM可应用于大规模在线教育平台，为学生提供个性化的作文反馈和指导。教师可以利用该系统了解学生的写作弱点，并针对性地进行教学。此外，该系统还可以用于辅助人工评分，提高评分效率和一致性，并为评分标准的制定提供数据支持。
📄 摘要（原文）
Understanding how automated grading systems evaluate essays remains a significant challenge for educators and students, especially when large language models function as black boxes. We introduce EssayCBM, a rubric-aligned framework that prioritizes interpretability in essay assessment. Instead of predicting grades directly from text, EssayCBM evaluates eight writing concepts, such as Thesis Clarity and Evidence Use, through dedicated prediction heads on an encoder. These concept scores form a transparent bottleneck, and a lightweight network computes the final grade using only concepts. Instructors can adjust concept predictions and instantly view the updated grade, enabling accountable human-in-the-loop evaluation. EssayCBM matches black-box performance while offering actionable, concept-level feedback through an intuitive web interface.