The Representational Alignment between Humans and Language Models is implicitly driven by a Concreteness Effect
作者: Cosimo Iaia, Bhavin Choksi, Emily Wiebers, Gemma Roig, Christian J. Fiebach
分类: cs.CL
发布日期: 2025-05-21
备注: 13 pages, 4 Figures, 1 Table
💡 一句话要点
探讨人类与语言模型之间的隐性语义一致性
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 具体性 语言模型 语义表示 心理语言学 认知科学 行为判断 表示相似性分析
📋 核心要点
- 现有研究对语言模型如何表示具体性尚缺乏深入探索，限制了对人类语义处理的理解。
- 本研究通过行为判断和表示相似性分析，探讨人类与语言模型在具体性维度上的隐性一致性。
- 实验结果显示，人类与语言模型的隐性表示空间在具体性上显著对齐，且主要受具体性驱动。
📝 摘要（中文）
本研究探讨了语言中的名词如何指代具体实体（如桌子）或抽象概念（如正义或爱），并分析了具体性如何影响词汇处理。尽管强大的语言模型为语义表示的定量研究提供了可能，但其具体性表示尚未得到充分探索。通过行为判断，我们估计了人类在一组精心选择的抽象和具体名词上的隐性语义距离。结果表明，人类的隐性表示空间与语言模型的语义表示显著一致，并且两者都与通过额外的具体性评分任务获得的具体性显式表示隐性对齐。重要的是，消融实验表明，人类与模型之间的对齐主要受到具体性的驱动，而非其他心理语言学中确立的重要词汇特征。这些结果表明，人类与语言模型在具体性维度上趋同，而在其他维度上则不然。
🔬 方法详解
问题定义：本研究旨在解决语言模型如何表示具体性的问题，现有方法未能充分探讨这一维度对语义处理的影响。
核心思路：通过行为判断和表示相似性分析，研究人类与语言模型在具体性维度上的隐性一致性，揭示其语义表示的潜在机制。
技术框架：研究分为几个主要阶段：首先，选择一组具体和抽象名词；其次，进行行为判断以估计语义距离；最后，应用表示相似性分析比较人类与模型的表示空间。
关键创新：本研究的创新在于通过消融实验证明了人类与模型之间的对齐主要受具体性驱动，而非其他词汇特征，这一发现与现有研究的结论存在显著差异。
关键设计：在实验中，使用了具体性评分任务来获取参与者的具体性表示，并通过表示相似性分析方法来量化人类与语言模型的语义距离。
🖼️ 关键图片
📊 实验亮点
实验结果显示，人类与语言模型的隐性表示空间在具体性维度上显著对齐，且这种对齐主要由具体性驱动。消融实验表明，其他词汇特征对对齐的影响较小，这一发现为理解人类与模型之间的语义关系提供了新的视角。
🎯 应用场景
该研究的结果对自然语言处理、心理语言学和认知科学等领域具有重要的应用价值。理解人类与语言模型在具体性上的一致性，可以帮助改进语言模型的设计，使其更好地模拟人类的语义处理过程，从而提升人机交互的自然性和有效性。
📄 摘要（原文）
The nouns of our language refer to either concrete entities (like a table) or abstract concepts (like justice or love), and cognitive psychology has established that concreteness influences how words are processed. Accordingly, understanding how concreteness is represented in our mind and brain is a central question in psychology, neuroscience, and computational linguistics. While the advent of powerful language models has allowed for quantitative inquiries into the nature of semantic representations, it remains largely underexplored how they represent concreteness. Here, we used behavioral judgments to estimate semantic distances implicitly used by humans, for a set of carefully selected abstract and concrete nouns. Using Representational Similarity Analysis, we find that the implicit representational space of participants and the semantic representations of language models are significantly aligned. We also find that both representational spaces are implicitly aligned to an explicit representation of concreteness, which was obtained from our participants using an additional concreteness rating task. Importantly, using ablation experiments, we demonstrate that the human-to-model alignment is substantially driven by concreteness, but not by other important word characteristics established in psycholinguistics. These results indicate that humans and language models converge on the concreteness dimension, but not on other dimensions.