Polite but Misaligned: Evaluating LLM Politeness Judgments Against Human Pragmatic Norms

📄 arXiv: 2609.29001v1 📥 PDF

作者: Rong Wang, Kun Sun, Yadong Guo

分类: cs.CL

发布日期: 2026-09-24

期刊: EMNLP2026

💡 一句话要点

评估大型语言模型的礼貌判断与人类语用规范的对齐问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 礼貌性判断 社交语用 人机交互 模型评估

📋 核心要点

  1. 现有大型语言模型在社交语用判断上与人类的评估存在显著差异，尤其是在礼貌性判断方面。
  2. 本文通过分析两个不同注释格式的数据集，探讨模型与人类在礼貌判断上的一致性及其影响因素。
  3. 实验结果显示，模型在礼貌判断上存在系统性偏差，特别是在中性和不礼貌标签的预测上，提示了评估方法的不足。

📝 摘要（中文）

尽管大型语言模型（LLMs）在标准基准测试中表现出色，但它们在社交语用方面的评估是否与人类判断一致仍不清楚。本文利用两个英语数据集评估LLM的礼貌判断，发现模型间一致性强于模型与人类的一致性。策略分析表明，模型与人类的对齐与显性语言线索相关，而某些建立融洽关系的策略在不对齐的情况下更为频繁。在分类任务中，模型预测表现出系统性的中性压缩，过度生成中性标签而低估不礼貌标签。研究结果强调了需要超越聚合一致性指标的语用评估，考察模型与人类在不同参考下的不一致方向模式。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在礼貌性判断上与人类语用规范不一致的问题。现有方法未能有效评估模型的社交语用能力，导致模型输出的礼貌性判断与人类标准存在差距。

核心思路：通过使用连续人类评分和三分类标签的两种注释格式，评估模型的礼貌判断，分析模型与人类之间的对齐程度及其影响因素。

技术框架：研究采用了两个英语数据集，分别进行连续评分和分类任务，分析模型的预测结果与人类评估之间的关系，重点关注模型的策略使用和标签分布。

关键创新：本文的创新在于提出了一种新的评估框架，强调了模型与人类在礼貌判断上的不一致性，并通过策略分析揭示了潜在的语言线索与对齐程度的关系。

关键设计：在实验中，采用了多种模型进行比较，设置了不同的标签注释标准，并通过专家共识作为参考，分析了模型在中性和不礼貌标签上的预测偏差。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，七个评估模型之间的一致性强于模型与人类之间的一致性，且模型在礼貌判断中表现出系统性的中性标签过度生成和不礼貌标签的低估。这一发现提示了现有评估方法的局限性，强调了需要更深入的语用评估。

🎯 应用场景

该研究的潜在应用领域包括人机交互、社交机器人和自动客服系统等。通过改进大型语言模型的礼貌性判断，可以提升用户体验，增强人机沟通的自然性和有效性。未来，该研究可能推动更为人性化的AI系统设计，促进人机协作的进一步发展。

📄 摘要（原文）

Despite strong performance on standard benchmarks, it remains unclear whether large language models (LLMs) evaluate social pragmatics in ways that align with human judgments. We evaluate LLM politeness judgments using two English-language datasets with complementary annotation formats: continuous human ratings and three-way categorical labels. Across the seven evaluated models, we find that inter-model agreement is stronger than model--human agreement. Strategy-level analyses suggest that model--human alignment is associated with explicit linguistic cues, while some rapport-building strategies occur more frequently in misaligned cases. In the categorical task, model predictions exhibit systematic neutral compression, characterized by the overproduction of Neutral labels and the underprediction of Impolite labels. This pattern persists when expert consensus is used as the reference on a diagnostic subset. Our findings highlight the need for pragmatic evaluations that go beyond aggregate agreement metrics by examining directional patterns of model--human disagreement across different human references.