Active Use of Latent Constituency Representation in both Humans and Large Language Models

📄 arXiv: 2405.18241v1 📥 PDF

作者: Wei Liu, Ming Xiang, Nai Ding

分类: cs.CL, cs.AI

发布日期: 2024-05-28

备注: 62 pages, 5 figures. Under review

💡 一句话要点

通过单样本学习任务，揭示人类和大型语言模型中潜在的成分句法结构

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 成分句法 大型语言模型 单样本学习 语言表示 认知科学

📋 核心要点

  1. 现有方法难以解释大型语言模型（LLM）如何表示句子，特别是其潜在的语言成分结构。
  2. 论文提出通过分析人类和LLM在单样本学习任务中的词删除行为，来推断其潜在的成分句法结构。
  3. 实验表明，人类和LLM倾向于删除句子中的成分，而非非成分的词串，从而揭示了其潜在的树状结构表示。

📝 摘要（中文）

理解人类大脑和大型语言模型（LLM），如ChatGPT，如何内部表示句子是认知科学的一个主要挑战。经典的语言学理论认为，大脑通过将句子解析为分层组织的成分来表示句子。相比之下，LLM不显式地解析语言成分，并且它们的潜在表示仍然难以解释。本文通过分析人类和LLM在一个新颖的单样本学习任务中的行为，证明了人类和LLM构建了相似的层级语言成分的潜在表示，在该任务中，他们推断应该从句子中删除哪些词。人类和LLM都倾向于删除一个成分，而不是一个非成分的词串。相比之下，一个能够访问单词属性和顺序位置的朴素序列处理模型没有表现出这种特性。基于单词删除行为，我们可以为人类和LLM重建句子的潜在成分树表示。这些结果表明，潜在的树状结构的成分表示可以在人类大脑和LLM中涌现。

🔬 方法详解

问题定义：论文旨在探究人类大脑和大型语言模型（LLM）是否以及如何以层级成分结构的方式表示句子。现有方法，特别是针对LLM，缺乏对这种潜在成分表示的有效解释和验证。传统的语言学理论认为人类大脑以成分句法树的形式组织句子，但LLM的内部机制尚不明确。

核心思路：论文的核心思路是通过设计一个单样本学习任务，即词删除任务，来间接推断人类和LLM的潜在成分结构。如果人类和LLM倾向于删除句子中的一个完整成分，而不是任意的词序列，则可以推断它们具有某种形式的成分结构表示。

技术框架：整体框架包括以下几个步骤：1) 设计单样本学习任务，要求参与者（人类或LLM）从句子中删除一个词或词组。2) 分析参与者的删除行为，统计删除成分和非成分的频率。3) 基于删除行为，重建潜在的成分句法树。4) 将人类和LLM的删除行为与一个朴素的序列处理模型进行比较，以验证成分结构的重要性。

关键创新：该研究的关键创新在于使用词删除任务作为一种探针，来揭示人类和LLM的潜在成分结构。这种方法避免了直接分析LLM的内部表示，而是通过观察其外部行为来推断其内部机制。此外，将人类和LLM的行为进行对比，有助于理解LLM是否以类似于人类的方式处理语言。

关键设计：单样本学习任务的设计至关重要，需要确保任务能够有效地诱导出参与者的成分结构偏好。具体的实验设置包括：选择合适的句子作为输入，明确删除任务的指令，以及设计合理的评估指标来衡量删除成分和非成分的频率。对于LLM，需要选择合适的模型和提示语，以确保其能够完成删除任务。

📊 实验亮点

实验结果表明，人类和LLM在词删除任务中都表现出对成分结构的偏好，即更倾向于删除句子中的一个完整成分。相比之下，一个朴素的序列处理模型没有表现出这种偏好。基于词删除行为重建的成分句法树与传统的语言学理论相符，进一步验证了人类和LLM中潜在的成分结构表示。

🎯 应用场景

该研究成果可应用于提升自然语言处理模型的语言理解能力，例如改进机器翻译、文本摘要和问答系统。通过使模型更好地理解句子的成分结构，可以提高其生成文本的流畅性和准确性。此外，该研究还有助于深入理解人类语言认知机制，促进认知科学和人工智能的交叉研究。

📄 摘要（原文）

Understanding how sentences are internally represented in the human brain, as well as in large language models (LLMs) such as ChatGPT, is a major challenge for cognitive science. Classic linguistic theories propose that the brain represents a sentence by parsing it into hierarchically organized constituents. In contrast, LLMs do not explicitly parse linguistic constituents and their latent representations remains poorly explained. Here, we demonstrate that humans and LLMs construct similar latent representations of hierarchical linguistic constituents by analyzing their behaviors during a novel one-shot learning task, in which they infer which words should be deleted from a sentence. Both humans and LLMs tend to delete a constituent, instead of a nonconstituent word string. In contrast, a naive sequence processing model that has access to word properties and ordinal positions does not show this property. Based on the word deletion behaviors, we can reconstruct the latent constituency tree representation of a sentence for both humans and LLMs. These results demonstrate that a latent tree-structured constituency representation can emerge in both the human brain and LLMs.