Iconicity in Large Language Models

📄 arXiv: 2501.05643v1 📥 PDF

作者: Anna Marklová, Jiří Milička, Leonid Ryvkin, Ľudmila Lacková Bennet, Libuše Kormaníková

分类: cs.CL, cs.AI

发布日期: 2025-01-10

备注: Supplementary information: https://osf.io/ywjrk/

DOI: 10.1093/llc/fqaf095

💡 一句话要点

研究表明大型语言模型能有效编码词汇象征性，甚至优于人类

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 词汇象征性 伪词生成 自然语言理解 GPT-4 人工语言 语义理解

📋 核心要点

  1. 现有研究对大型语言模型（LLM）如何编码词汇象征性，即词义与词形之间的关联，了解不足。
  2. 该研究通过让GPT-4生成具有象征意义的伪词，并让人类和LLM猜测其含义，以此评估LLM对词汇象征性的编码能力。
  3. 实验结果表明，LLM在理解和运用词汇象征性方面表现出色，甚至优于人类，揭示了LLM在语言理解方面的潜力。

📝 摘要（中文）

词汇象征性，即词义与词形之间的直接关联，是所有自然语言的重要组成部分，最常见的是通过声音-意义的关联来体现。由于大型语言模型（LLM）对文本意义和声音的访问都是间接的（意义通过文本语境，声音通过书面表示，并受到分词的进一步复杂化），因此我们可能认为LLM中象征性的编码要么不足，要么与人类的处理方式显著不同。本研究通过让GPT-4在人工语言中生成高度象征性的伪词来解决这一假设。为了验证这些词是否真正具有象征性，我们让捷克和德国的参与者（n=672）以及基于LLM的参与者（由GPT-4和Claude 3.5 Sonnet生成）猜测它们的含义。结果表明，人类可以比猜测遥远自然语言中的单词更准确地猜测生成的象征性语言中伪词的含义，并且基于LLM的参与者在这项任务中甚至比人类更成功。除了这个核心发现之外，还进行了几项关于生成语言的普遍性以及人类和基于LLM的参与者所利用的线索的额外分析。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLM）是否能够像人类一样理解和运用词汇象征性，即词语的声音或形式与其意义之间的直接联系。现有方法主要关注LLM在传统语言任务上的表现，忽略了其对语言深层结构和象征意义的理解能力。

核心思路：论文的核心思路是通过人工构建具有高度象征性的伪词，并让人类和LLM参与者猜测这些伪词的含义，以此来评估LLM对词汇象征性的编码能力。如果LLM能够准确猜测伪词的含义，则表明其能够有效编码词汇象征性。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 使用GPT-4生成具有高度象征性的伪词；2) 招募人类参与者（捷克和德国人）和使用LLM（GPT-4和Claude 3.5 Sonnet）作为参与者；3) 让参与者猜测伪词的含义；4) 分析参与者的猜测结果，评估LLM对词汇象征性的编码能力。

关键创新：该研究的关键创新在于：1) 提出了一种新颖的方法来评估LLM对词汇象征性的编码能力，即通过人工构建具有高度象征性的伪词并让人类和LLM参与者猜测其含义；2) 发现LLM在理解和运用词汇象征性方面表现出色，甚至优于人类，这挑战了以往对LLM语言理解能力的认知。

关键设计：在伪词生成方面，研究人员指示GPT-4生成具有特定象征意义的词语，例如，某些音节组合可能被设计成表示“大”或“小”等概念。在实验设计方面，研究人员控制了伪词的长度、音节结构等因素，以确保实验结果的可靠性。此外，研究人员还分析了人类和LLM参与者在猜测伪词含义时所使用的线索，以深入了解其认知过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，人类参与者能够以高于猜测自然语言单词的准确率猜测人工生成的象征性伪词的含义。更令人惊讶的是，基于LLM的参与者（GPT-4和Claude 3.5 Sonnet）在猜测伪词含义方面的表现甚至优于人类。这一结果表明，LLM能够有效地编码词汇象征性，并且可能比人类更擅长利用词汇象征性来理解语言。

🎯 应用场景

该研究成果可应用于提升LLM的自然语言理解能力，使其能够更好地理解和生成具有丰富语义和情感色彩的文本。此外，该研究还可以为人工语言设计、跨语言交流等领域提供新的思路和方法，具有广泛的应用前景和实际价值。

📄 摘要（原文）

Lexical iconicity, a direct relation between a word's meaning and its form, is an important aspect of every natural language, most commonly manifesting through sound-meaning associations. Since Large language models' (LLMs') access to both meaning and sound of text is only mediated (meaning through textual context, sound through written representation, further complicated by tokenization), we might expect that the encoding of iconicity in LLMs would be either insufficient or significantly different from human processing. This study addresses this hypothesis by having GPT-4 generate highly iconic pseudowords in artificial languages. To verify that these words actually carry iconicity, we had their meanings guessed by Czech and German participants (n=672) and subsequently by LLM-based participants (generated by GPT-4 and Claude 3.5 Sonnet). The results revealed that humans can guess the meanings of pseudowords in the generated iconic language more accurately than words in distant natural languages and that LLM-based participants are even more successful than humans in this task. This core finding is accompanied by several additional analyses concerning the universality of the generated language and the cues that both human and LLM-based participants utilize.