Do Large Language Models know who did what to whom?

📄 arXiv: 2504.16884v2 📥 PDF

作者: Joseph M. Denning, Xiaohan Hannah Guo, Bryor Snefjella, Idan A. Blank

分类: cs.CL

发布日期: 2025-04-23 (更新: 2025-04-25)

💡 一句话要点

研究表明大型语言模型虽能提取语义角色，但其表征受句法影响大于语义。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 语义角色标注 自然语言理解 句子表征 注意力机制

📋 核心要点

  1. 现有对LLM的批评多集中于认知能力，忽略了其在语言理解核心任务——语义角色识别上的表现。
  2. 该研究通过分析LLM的句子表征，探究其是否能有效捕捉句子中的施事者和受事者等语义角色信息。
  3. 实验发现LLM的句子表征更侧重句法相似性，但部分注意力头能独立于句法捕捉语义角色信息。

📝 摘要（中文）

大型语言模型（LLM）常被批评为不理解语言。然而，许多批评集中在认知能力上，这些能力在人类中与语言处理不同。本文研究了一种与语言紧密相关的理解：推断句子中“谁对谁做了什么”（语义角色）。LLM的核心训练目标——词预测——是否能产生捕捉语义角色的句子表征？通过两个实验，我们分析了四个LLM中的句子表征。与人类的相似性判断相比，在LLM中，句子对的整体表征相似性反映了句法相似性，而不是它们的施事者和受事者分配是否相同或相反。此外，我们几乎没有发现任何证据表明语义角色信息存在于隐藏单元的任何子集中。然而，一些注意力头稳健地捕捉了语义角色，独立于句法。因此，LLM可以提取语义角色，但相对于人类，这些信息对它们的表征影响较弱。

🔬 方法详解

问题定义：现有大型语言模型在语言理解方面受到质疑，尤其是在理解句子中“谁对谁做了什么”的语义角色方面。尽管LLM在词预测任务上表现出色，但其内部表征是否真正捕捉了语义角色信息，以及这种信息与句法信息的关系尚不明确。现有方法缺乏对LLM语义角色理解能力的深入分析。

核心思路：该研究的核心思路是通过分析LLM的句子表征，考察其是否能够区分具有相同句法结构但语义角色相反的句子，以及具有不同句法结构但语义角色相同的句子。通过比较LLM的表征相似性与人类的判断，评估LLM在语义角色理解方面的能力。

技术框架：该研究主要包含两个实验： 1. 表征相似性分析：将句子对输入LLM，提取其句子表征，计算表征之间的相似性，并与人类的相似性判断进行比较，评估LLM是否能够区分语义角色反转的句子。 2. 注意力头分析：分析LLM中不同注意力头对语义角色的捕捉能力，考察是否存在独立于句法结构捕捉语义角色的注意力头。

关键创新：该研究的关键创新在于： 1. 深入分析了LLM在语义角色理解方面的能力，弥补了现有研究的不足。 2. 揭示了LLM的句子表征更侧重句法相似性，但部分注意力头能够独立于句法捕捉语义角色信息。 3. 提出了通过分析注意力头来研究LLM语义理解能力的新方法。

关键设计： 1. 使用了四种不同的LLM进行实验，包括BERT、RoBERTa、GPT-2和GPT-3，以保证结果的泛化性。 2. 设计了包含语义角色反转和句法结构变化的句子对，以考察LLM对语义角色的敏感性。 3. 使用余弦相似度来衡量句子表征之间的相似性。 4. 通过线性探针方法分析注意力头对语义角色的捕捉能力。

📊 实验亮点

实验结果表明，LLM的句子表征更侧重句法相似性，而非语义角色。与人类的判断不同，LLM难以区分语义角色反转的句子。然而，部分注意力头能够独立于句法结构捕捉语义角色信息，这表明LLM具备提取语义角色的潜力。该研究为进一步提升LLM的语义理解能力提供了方向。

🎯 应用场景

该研究成果可应用于提升LLM的自然语言理解能力，尤其是在需要精确理解语义角色的任务中，如信息抽取、问答系统和机器翻译。通过优化LLM的训练目标和网络结构，使其更好地捕捉语义角色信息，可以提高这些应用场景的性能。此外，该研究也为理解LLM内部表征提供了新的视角。

📄 摘要（原文）

Large Language Models (LLMs) are commonly criticized for not understanding language. However, many critiques focus on cognitive abilities that, in humans, are distinct from language processing. Here, we instead study a kind of understanding tightly linked to language: inferring who did what to whom (thematic roles) in a sentence. Does the central training objective of LLMs-word prediction-result in sentence representations that capture thematic roles? In two experiments, we characterized sentence representations in four LLMs. In contrast to human similarity judgments, in LLMs the overall representational similarity of sentence pairs reflected syntactic similarity but not whether their agent and patient assignments were identical vs. reversed. Furthermore, we found little evidence that thematic role information was available in any subset of hidden units. However, some attention heads robustly captured thematic roles, independently of syntax. Therefore, LLMs can extract thematic roles but, relative to humans, this information influences their representations more weakly.