Why Do LLMs Accept Generics? Explaining Acceptability using Psycholinguistic and Model-Derived Factors

📄 arXiv: 2610.27928v1 📥 PDF

作者: Mervat Abassy, Zhaoxin Feng, Tatsuki Kuribayashi, Kentaro Inui, Emmanuele Chersoni

分类: cs.CL

发布日期: 2026-10-20

💡 一句话要点

探讨大型语言模型如何接受泛化陈述的心理语言学因素

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 心理语言学 泛化陈述 模型评估 自然语言处理

📋 核心要点

  1. 核心问题：现有研究未能充分解释大型语言模型如何判断泛化陈述，尤其是人类因素的影响。
  2. 方法要点：论文通过对心理语言学因素的分析，探讨其在大型语言模型判断泛化陈述中的作用。
  3. 实验或效果：实验结果显示，模型在判断时综合考虑属性的普遍性与区分性，表现出与人类相似的偏好。

📝 摘要（中文）

心理语言学研究探讨了人类为何接受某些泛化陈述而拒绝其他陈述，发现这种判断不仅依赖于属性的普遍性，还涉及其他因素，如属性如何区分种类或是否为该种类的特征。本文受此启发，研究这些因素在大型语言模型（LLMs）判断泛化陈述中的作用。通过对十二个模型在心理语言学数据集和自然发生的泛化陈述上的实验，结果表明模型在判断时权衡属性的普遍性与其区分性，尽管不如人类清晰。模型偏好特征属性，但忽略了显著属性。对LLMs而言，最重要的是陈述的事实真伪，人类因素的影响通过这一判断传递给模型的评分。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在判断泛化陈述时的机制，现有方法未能充分解释模型如何结合心理语言学因素进行判断。

核心思路：论文的核心思路是将心理语言学研究中的因素引入到大型语言模型的泛化判断中，探索这些因素如何影响模型的判断结果。

技术框架：研究采用了对十二个大型语言模型的实验，使用心理语言学数据集和自然发生的泛化陈述，分析模型的判断机制。主要模块包括数据集构建、模型训练与评估、以及结果分析。

关键创新：本文的创新点在于首次系统性地将心理语言学因素与大型语言模型的泛化判断结合，揭示了模型在判断时的权衡机制，与传统人类判断理论存在本质区别。

关键设计：在实验中，模型的隐藏状态沿着每个因素的方向进行调整，以观察判断的变化，设计了特定的损失函数以优化模型对属性的判断能力。实验中还考虑了模型对事实真伪的敏感性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，模型在判断泛化陈述时，属性的普遍性与区分性之间的权衡与人类相似。特别是在六个7-9B参数的模型中，调整隐藏状态能够显著影响判断结果，验证了心理语言学因素在模型评分中的重要性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过理解大型语言模型如何处理泛化陈述，可以提升模型在实际应用中的表现，增强其理解和生成自然语言的能力，未来可能推动更智能的交互系统的发展。

📄 摘要（原文）

Psycholinguistic studies explore why humans accept some generic statements but reject others by showing that these judgments depend on more than how common a property is. People consider several other factors such as how well it sets the kind apart from others or whether it is characteristic of the kind. Inspired by the linguistic and cognitive literature, we explore to what extent factors from these studies explain how large language models (LLMs) judge generics. Our results with twelve models on a psycholinguistic dataset and on naturally occurring generics show that models weigh how common a property is against how well it distinguishes the kind, and combine the two much as people do, though less clearly. Like people, they favor characteristic properties, but unlike the accounts of human judgment, they ignore striking ones. What matters most to LLMs is whether a statement is factually true, and much of the influence of human factors reaches their ratings through that judgment. In six 7-9B models, shifting the hidden states along each factor's direction moves the judgment as the factor predicts.