Social Perceptions of English Spelling Variation on Twitter: A Comparative Analysis of Human and LLM Responses

📄 arXiv: 2511.23041v1 📥 PDF

作者: Dong Nguyen, Laura Rosseel

分类: cs.CL

发布日期: 2025-11-28

💡 一句话要点

对比人类与LLM对Twitter英语拼写变体的社会感知差异

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 拼写变体 社会感知 大型语言模型 社会语言学 文本理解

📋 核心要点

  1. 在线文本的拼写变体影响读者对作者的社会印象，现有研究缺乏对这种影响的深入分析。
  2. 该研究对比人类与大型语言模型（LLM）对拼写变体的社会属性感知，探究二者的一致性与差异。
  3. 实验结果表明，人类与LLM的评分具有较强相关性，但在评分分布和不同变体类型上存在显著差异。

📝 摘要（中文）

拼写变体（例如funnnn vs. fun）会影响文本及其作者的社会感知：我们通常对不同的写作形式有不同的联想（文本是否非正式？作者是否显得年轻？）。本研究关注英语在线写作中拼写变体的社会感知，并研究人类和大型语言模型（LLM）在多大程度上对此感知保持一致。基于社会语言学方法，我们比较了LLM和人类对拼写变体的三个关键社会属性（正式性、细致程度、年龄）的评分。我们发现人类和LLM的评分之间通常存在很强的相关性。然而，当我们分析评分的分布以及比较不同类型的拼写变体时，会出现显著的差异。

🔬 方法详解

问题定义：该论文旨在研究英语在线文本中拼写变体对社会感知的影响，并对比人类和大型语言模型（LLM）对这些变体的感知差异。现有方法缺乏对LLM在此方面的评估，以及对不同类型拼写变体差异的深入分析。

核心思路：核心思路是利用社会语言学方法，将拼写变体作为社会属性的信号，通过对比人类和LLM对这些信号的解读，来评估LLM在社会感知方面的能力。通过分析评分的相关性、分布以及不同变体类型的影响，揭示LLM与人类感知的异同。

技术框架：该研究的技术框架主要包括以下几个阶段：1. 数据收集：从Twitter收集包含拼写变体的英文文本数据。2. 属性选择：选择三个关键的社会属性（正式性、细致程度、年龄）作为评估指标。3. 评分实验：分别让人类和LLM对文本中的拼写变体进行评分。4. 数据分析：分析人类和LLM评分的相关性、分布差异，以及不同类型拼写变体的影响。

关键创新：该研究的关键创新在于：1. 将社会语言学方法应用于评估LLM的社会感知能力。2. 对比分析人类和LLM对拼写变体的社会属性感知差异，揭示LLM在社会理解方面的局限性。3. 关注不同类型的拼写变体，例如重复字母、省略字母等，分析其对社会感知的影响。

关键设计：研究中关键的设计包括：1. 选择合适的LLM模型进行评估，例如GPT-3或其他具有文本理解能力的模型。2. 设计清晰的评分标准，确保人类和LLM对社会属性的理解一致。3. 使用统计方法分析评分数据，例如计算相关系数、进行方差分析等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现，人类和LLM对拼写变体的社会属性评分存在较强的相关性，表明LLM在一定程度上能够理解拼写变体所传递的社会信息。然而，在评分分布和不同类型变体上存在显著差异，例如LLM可能高估了某些拼写变体的非正式程度，揭示了LLM在社会感知方面的局限性。

🎯 应用场景

该研究的成果可应用于提升LLM在社交媒体文本理解方面的能力，例如情感分析、用户画像等。通过了解LLM对拼写变体的社会感知偏差，可以改进模型的设计，使其更好地理解人类语言的细微差别，从而在人机交互、舆情分析等领域发挥更大的作用。

📄 摘要（原文）

Spelling variation (e.g. funnnn vs. fun) can influence the social perception of texts and their writers: we often have various associations with different forms of writing (is the text informal? does the writer seem young?). In this study, we focus on the social perception of spelling variation in online writing in English and study to what extent this perception is aligned between humans and large language models (LLMs). Building on sociolinguistic methodology, we compare LLM and human ratings on three key social attributes of spelling variation (formality, carefulness, age). We find generally strong correlations in the ratings between humans and LLMs. However, notable differences emerge when we analyze the distribution of ratings and when comparing between different types of spelling variation.