Inside the Scorer: Mechanistic Evidence on Rubric Control in LLM-Based Automated Essay Scoring from 25 Base Models

📄 arXiv: 2610.25724v1 📥 PDF

作者: Chungche Huang, Po-Ya Angela Wang, Shu-Kai Hsieh

分类: cs.CL

发布日期: 2026-10-19

备注: Camera-ready version. Accepted to PACLIC 40 (The 40th Pacific Asia Conference on Language, Information and Computation); to be presented in Taipei, Taiwan, December 10-12, 2026. Code at https://github.com/lopentu/inside-the-scorer-paclic2026

💡 一句话要点

揭示LLM自动评分中的评分标准控制机制

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动评分 大型语言模型 评分标准 可控性 教育评估 模型激活 因果引导 评分一致性

📋 核心要点

  1. 现有的LLM自动评分系统在高风险测试中缺乏可控性和可验证性，无法满足评分标准的独立控制需求。
  2. 本文通过探测和引导25个基础LLM，研究其内部表示是否能独立控制不同的评分标准，提出了一种新的评估方法。
  3. 实验结果表明，长任务的评分可以从模型激活中解码，但短任务的解码能力较弱，且评分标准之间并非独立控制，存在共享的主导杠杆。

📝 摘要（中文）

自动化作文评分（AES）利用大型语言模型（LLMs）在语言评估中展现出良好的应用前景，但高风险测试需要可控且可验证的评分，这在现有的LLM评分器中尚未实现。本文探讨LLM评分器是否为各个评分标准形成独特的内部表示，并能否独立控制这些表示。通过对25个开放权重的基础LLM进行探测和引导，发现较长任务的整体评分可以从模型激活中解码，而短任务的解码能力较弱。此外，评分标准在表示空间中部分可分离，但在短响应中并不明显。因果引导实验显示，匹配干预的效果微乎其微，表明评分标准之间并非独立控制，而是共享一个主导杠杆。我们的贡献在于揭示了人类评分者设计的分析评分标准在基础LLM中并不具备独立控制的特性，并建立了一种方法论，表明评分一致性和可解码性并不意味着在LLM评估中的评分标准控制。

🔬 方法详解

问题定义：本文旨在解决LLM自动评分系统在高风险测试中评分标准控制不足的问题。现有方法无法确保评分的独立性和可验证性，导致评分结果的可靠性受到质疑。

核心思路：通过探测和引导25个不同参数规模的基础LLM，研究其内部表示是否能独立控制各个评分标准，从而验证现有评分标准在LLM中的适用性。

技术框架：研究采用了对25个基础LLM进行激活探测和因果引导的实验流程，主要包括数据预处理、模型激活分析、评分标准引导和结果评估四个模块。

关键创新：最重要的创新在于揭示了人类设计的评分标准在LLM中并不具备独立控制的特性，且评分标准之间存在共享的主导杠杆，这与传统的评分方法有显著区别。

关键设计：实验中对模型的参数设置进行了细致调整，采用了适应性损失函数以优化评分一致性，同时设计了多种干预策略以测试评分标准的可控性。实验还涉及了不同任务长度对评分解码能力的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，长任务的整体评分可以从模型激活中有效解码，而短任务的解码能力较弱。匹配干预的效果仅为2%，且在10个可测试的比较中未能检测到显著差异，表明评分标准之间并非独立控制。

🎯 应用场景

该研究的潜在应用领域包括教育评估、在线学习平台和自动化评分系统。通过改进LLM的评分控制能力，可以提升语言评估的准确性和可靠性，进而影响教育政策和评估标准的制定。未来，该方法论可能为其他领域的自动化评估提供借鉴。

📄 摘要（原文）

Automated essay scoring (AES) using large language models (LLMs) offers promising use cases for language assessment, yet high-stakes testing requires scores that are both controllable and verifiable, which current LLM-based scorers lack. Given that, we investigate whether LLM-based scorers form distinct internal representations for individual scoring rubrics and whether these representations can be independently controlled. Probing and steering 25 open-weight base LLMs (0.13B-10.31B parameters; 14 families) on human-scored BESTEP English writing tasks, we find that holistic scores are decodable from model activations for the longer tasks (Parts 2 and 3) and only weakly for the shortest (Part 1). Furthermore, scoring rubrics have partly separable directions in representation space for the longer tasks, though not for short responses (Part 1). However, causal steering reveals a critical limitation: applying a matching intervention (e.g., steering "grammar" on a grammar-degraded response) yields only a negligible advantage (about 2% of the effect) over a mismatched intervention (e.g., steering "vocabulary"), and none that is detectable in any of the 10 testable comparisons across reliably measured rubrics. Rather than controlling distinct evaluative dimensions, the rubric directions share a dominant lever whose rubric-specific parts are not selective, which may mirror the halo structure of human ratings. Our contributions are two-fold. First, we show that analytic scoring rubrics designed for human raters do not behave as independent controls in base LLMs, even among the seven models whose scores agree best with human raters ($r \geq 0.6$). Second, we establish a methodology that shows that score agreement and decodability do not imply rubric-level control in LLM-based assessment.