Change the Number, Change the Answer: Assessing Rating Scale Sensitivity in LLM-Based Text Scoring

📄 arXiv: 2610.22187v1 📥 PDF

作者: Wonjeong Jo, Gyuwan Kim, Ming Shan Hee

分类: cs.CL, cs.AI, math.NA

发布日期: 2026-10-15

💡 一句话要点

提出量表敏感性评估方法以提高LLM文本评分可靠性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文本评分 量表敏感性 心理测量 社会科学

📋 核心要点

  1. 现有研究在使用大型语言模型进行文本评分时，缺乏对不同评分量表设计的敏感性分析，导致评分结果的可比性不足。
  2. 本文提出了一种系统评估量表敏感性的方法，通过实验设计探索不同评分格式、范围和符号对LLM生成分数的影响。
  3. 实验结果表明，评分设计的变化会显著影响标准化分数和文本类别，尤其在毒性任务中表现出最高的敏感性。

📝 摘要（中文）

大型语言模型（LLMs）在计算社会科学中被广泛用于为社会和心理构念分配标量分数。然而，不同的评分量表设计可能导致分数不可比，相关研究尚不充分。为此，本文定义并系统性地研究了量表敏感性，即由评分量表设计引起的LLM生成分数的变化。我们区分了数值敏感性（标准化分数的变化）和语义敏感性（分数解释的变化）。实验设计涵盖了2种格式（连续与序数）、4个范围（3、5、11和21点）及2种符号（有符号与无符号），并在3个任务（政治倾向、情感和毒性）、2种提示策略（零-shot与基于评分标准）和5个LLM上进行评估。结果显示，设计元素的变化平均使标准化分数变化约0.10，并使约20%的文本类别发生变化。毒性是唯一的单极构念，其敏感性最大。此外，基于评分标准的提示与零-shot提示相比并未降低敏感性。我们为设计更可靠的LLM文本评分提供了实用指导，并强调了在不同量表下进行稳健性检查的必要性。

🔬 方法详解

问题定义：本文旨在解决不同评分量表设计对LLM生成分数的影响，现有方法未能充分考虑量表敏感性，导致评分结果的可比性不足。

核心思路：通过定义量表敏感性，系统性地研究评分设计对LLM生成分数的影响，区分数值敏感性与语义敏感性，以提供更可靠的文本评分方法。

技术框架：实验设计包括2种评分格式（连续与序数）、4个评分范围（3、5、11和21点）、2种符号（有符号与无符号），并在3个任务（政治倾向、情感、毒性）中进行评估，结合2种提示策略（零-shot与基于评分标准）和5个LLM。

关键创新：本文的主要创新在于系统性地分析了评分设计对LLM生成分数的影响，尤其是首次量化了不同设计元素对标准化分数和文本类别的影响。

关键设计：实验中采用了多种评分设计参数，确保覆盖不同的评分格式和范围，同时使用零-shot与基于评分标准的提示策略进行对比，以评估其对敏感性的影响。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，改变评分设计元素平均使标准化分数变化约0.10，并导致约20%的文本类别发生变化。特别是在毒性任务中，敏感性最高，且基于评分标准的提示未能显著降低敏感性，这为文本评分的设计提供了重要的实证依据。

🎯 应用场景

该研究的潜在应用领域包括教育评估、心理测量和社会科学研究等，能够为基于LLM的文本评分提供更可靠的设计指导，提升评分的一致性和有效性。未来，随着LLM技术的不断发展，量表敏感性评估将成为文本评分系统设计的重要组成部分。

📄 摘要（原文）

Large language models (LLMs) are increasingly used in computational social science to assign scalar scores to social and psychological constructs. However, studies use different rating scales, and whether their scores remain comparable across scale designs is understudied. To address this gap, we define and systematically investigate scale sensitivity, the variation in LLM-generated scores caused by rating scale design. We distinguish numerical sensitivity, changes in normalized scores, from semantic sensitivity, changes in score interpretation. To assess both, our experimental design crosses 2 formats (continuous vs. ordinal), 4 ranges (3, 5, 11, and 21 points), and 2 signs (signed vs. unsigned) across 3 tasks (political leaning, sentiment, and toxicity), 2 prompting strategies (zero-shot and rubric-based), and 5 LLMs. We find that changing one design element shifts normalized scores by about 0.10 on average and changes the category of roughly 20% of texts. Sensitivity is greatest for toxicity, the only unipolar construct examined. Also, rubric-based prompting does not reduce sensitivity compared with zero-shot prompting. We provide practical guidance for designing more reliable LLM-based text scoring and highlight the need for robustness checks across alternative scales.