Different types of syntactic agreement recruit the same units within large language models

📄 arXiv: 2512.03676v1 📥 PDF

作者: Daria Kryvosheieva, Andrea de Varda, Evelina Fedorenko, Greta Tuckute

分类: cs.CL

发布日期: 2025-12-03

💡 一句话要点

揭示大型语言模型中不同句法一致性现象共享的表征单元

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 句法一致性 功能定位 语法知识表示 跨语言分析

📋 核心要点

  1. 现有研究缺乏对LLM内部语法知识表示方式的深入理解，特别是不同句法现象之间的关系。
  2. 该研究采用功能定位方法，识别LLM中对特定句法现象敏感的单元，并分析它们之间的重叠程度。
  3. 实验结果表明，不同类型的句法一致性调用重叠的单元集合，揭示了LLM中句法知识的组织方式。

📝 摘要（中文）

大型语言模型(LLMs)能够可靠地区分语法正确和错误的句子，但模型内部如何表示语法知识仍然是一个悬而未决的问题。我们研究了不同的句法现象是否在LLMs中调用共享或不同的组件。借鉴认知神经科学的功能定位方法，我们识别了七个开放权重模型中对67种英语句法现象最敏感的LLM单元。这些单元在包含这些现象的句子中被一致地调用，并因果地支持模型的句法性能。关键的是，不同类型的句法一致性(例如，主谓一致、照应、限定词-名词一致)调用重叠的单元集合，表明一致性构成了LLMs的一个有意义的功能类别。这种模式在英语、俄语和汉语中都成立；此外，在对57种不同语言的跨语言分析中，结构上更相似的语言在主谓一致方面共享更多的单元。总而言之，这些发现表明，句法一致性——句法依赖关系的一个关键标志——构成了LLMs表征空间中的一个有意义的类别。

🔬 方法详解

问题定义：该论文旨在探究大型语言模型(LLMs)如何表示语法知识，特别是不同类型的句法一致性现象（如主谓一致、照应、限定词-名词一致）在模型内部是否共享相同的表征单元。现有方法难以确定不同句法现象在LLM内部的关联性，缺乏对LLM语法知识组织方式的深入理解。

核心思路：论文的核心思路是借鉴认知神经科学中的功能定位方法，通过识别LLM中对特定句法现象敏感的单元，并分析这些单元之间的重叠程度，来推断不同句法现象在模型内部的关联性。这种方法能够揭示LLM如何组织和表示语法知识，并探究不同句法现象之间的关系。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择多个开放权重的LLM模型；2) 构建包含67种英语句法现象的测试集；3) 使用功能定位方法识别对每种句法现象最敏感的LLM单元；4) 分析不同句法现象对应的单元集合之间的重叠程度；5) 对英语、俄语和汉语进行跨语言分析，并对57种不同语言进行主谓一致的分析。

关键创新：该研究的关键创新在于：1) 首次采用功能定位方法来研究LLM中的语法知识表示；2) 揭示了不同类型的句法一致性现象在LLM中共享表征单元，表明一致性构成了LLM的一个有意义的功能类别；3) 通过跨语言分析，验证了该结论在多种语言中的普适性，并发现结构相似的语言在主谓一致方面共享更多的单元。

关键设计：该研究的关键设计包括：1) 精心构建包含多种句法现象的测试集，确保能够全面评估LLM的语法能力；2) 使用功能定位方法，通过计算LLM单元对不同句法现象的响应程度，来识别敏感单元；3) 采用多种统计方法，分析不同句法现象对应的单元集合之间的重叠程度，并进行显著性检验。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现，不同类型的句法一致性（主谓一致、照应、限定词-名词一致）在LLM中调用重叠的单元集合，表明一致性构成了LLM的一个有意义的功能类别。此外，跨语言分析表明，结构相似的语言在主谓一致方面共享更多的单元，进一步验证了该结论的普适性。

🎯 应用场景

该研究的成果可以应用于提升LLM的语法理解和生成能力，例如，可以通过优化模型结构或训练方法，使其更好地捕捉句法一致性等语法规则。此外，该研究还可以用于评估不同LLM的语法能力，并为模型选择和微调提供指导。未来，该研究可以扩展到其他语法现象和语言，从而更全面地理解LLM的语法知识表示。

📄 摘要（原文）

Large language models (LLMs) can reliably distinguish grammatical from ungrammatical sentences, but how grammatical knowledge is represented within the models remains an open question. We investigate whether different syntactic phenomena recruit shared or distinct components in LLMs. Using a functional localization approach inspired by cognitive neuroscience, we identify the LLM units most responsive to 67 English syntactic phenomena in seven open-weight models. These units are consistently recruited across sentences containing the phenomena and causally support the models' syntactic performance. Critically, different types of syntactic agreement (e.g., subject-verb, anaphor, determiner-noun) recruit overlapping sets of units, suggesting that agreement constitutes a meaningful functional category for LLMs. This pattern holds in English, Russian, and Chinese; and further, in a cross-lingual analysis of 57 diverse languages, structurally more similar languages share more units for subject-verb agreement. Taken together, these findings reveal that syntactic agreement-a critical marker of syntactic dependencies-constitutes a meaningful category within LLMs' representational spaces.