Fine-Grained Analysis of Shared Syntactic Mechanisms in Language Models
作者: Ryoma Kumon, Hitomi Yanaka
分类: cs.CL
发布日期: 2026-04-24
备注: Accepted to ACL 2026 Main
💡 一句话要点
通过因果可解释性分析，揭示语言模型中共享句法机制的细粒度特征
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 语言模型 句法分析 可解释性 因果推断 激活修补
📋 核心要点
- 现有研究对语言模型句法能力的内部机制与语言学原则的对齐程度理解不足，尤其缺乏细粒度的分析。
- 本研究采用因果可解释性方法，通过激活修补技术，识别语言模型中不同句法结构共享的神经机制。
- 实验结果表明，填空依存关系存在共享机制，且激活修补方法具有更好的泛化能力，并能提升模型性能。
📝 摘要（中文）
本文深入研究了语言模型内部机制与语言学中跨结构原则的一致性。通过应用细粒度的因果可解释性方法，研究了模型是否在不同的句法结构中采用共享的神经机制。具体而言，聚焦于填空依存关系（filler-gap dependencies）和否定极性项（NPI）许可，利用激活修补（activation patching）来识别特定注意力头和MLP块的功能角色。结果表明，填空依存关系存在高度局部化且共享的机制，位于早期到中间层，而NPI处理则未表现出这种统一的机制。此外，激活修补识别的机制可以泛化到分布外数据，而分布式对齐搜索（一种监督可解释性方法）容易过度拟合狭窄的语言分布。最后，通过操纵识别出的组件，验证了研究结果，并证明其可以提高模型在可接受性判断基准上的性能。
🔬 方法详解
问题定义：现有语言模型在句法能力上表现出色，但其内部机制如何与语言学中的跨结构原则对齐尚不清楚。特别是，模型是否针对不同的句法结构（如填空依存关系和否定极性项许可）使用共享的神经机制，以及这些机制的具体位置和功能，仍然缺乏深入的理解。现有方法，如分布式对齐搜索，可能存在过度拟合特定语言分布的问题。
核心思路：本研究的核心思路是利用因果可解释性方法，特别是激活修补技术，来识别和分析语言模型中不同句法结构所使用的神经机制。通过干预模型的内部激活，并观察其对模型输出的影响，可以推断出特定神经元或模块在处理特定句法结构中的作用。如果不同的句法结构使用了相同的神经元或模块，则表明模型存在共享的句法机制。
技术框架：本研究的技术框架主要包括以下几个步骤：1) 选择两种句法结构：填空依存关系和否定极性项许可。2) 使用激活修补技术，识别模型中对这两种句法结构处理至关重要的注意力头和MLP块。激活修补通过将模型的激活替换为来自参考输入的激活，来评估该激活对模型输出的影响。3) 比较不同句法结构所使用的神经元或模块，以确定是否存在共享的机制。4) 使用分布外数据评估识别出的机制的泛化能力。5) 通过操纵识别出的组件，验证其对模型性能的影响。
关键创新：本研究的关键创新在于：1) 使用细粒度的因果可解释性方法，揭示了语言模型中共享句法机制的存在。2) 发现填空依存关系存在高度局部化且共享的机制，而NPI处理则未表现出这种统一的机制。3) 证明了激活修补方法具有更好的泛化能力，能够识别出在分布外数据上仍然有效的机制。4) 验证了通过操纵识别出的组件可以提高模型在可接受性判断基准上的性能。
关键设计：本研究的关键设计包括：1) 使用BERT模型作为研究对象。2) 使用激活修补技术，具体而言，通过将特定注意力头或MLP块的激活替换为来自参考输入的激活，来评估其对模型输出的影响。3) 使用可接受性判断基准来评估模型性能。4) 使用分布外数据来评估识别出的机制的泛化能力。具体参数设置和网络结构与BERT模型本身相关，损失函数则与可接受性判断任务相关。
🖼️ 关键图片
📊 实验亮点
研究发现，对于填空依存关系，语言模型在早期到中间层存在高度局部化且共享的机制。而对于否定极性项（NPI）许可，则没有发现类似的统一机制。激活修补方法识别的机制能够泛化到分布外数据，优于监督可解释性方法。通过操纵识别出的组件，模型在可接受性判断基准上的性能得到了提升，验证了研究发现。
🎯 应用场景
该研究成果可应用于提升语言模型的可解释性和鲁棒性，并为构建更符合人类语言学认知的模型提供指导。通过理解模型内部的句法处理机制，可以更好地诊断和修复模型中的偏差，并开发更有效的句法增强方法。此外，该研究还可以应用于自然语言处理的各个领域，如机器翻译、文本摘要和问答系统等。
📄 摘要（原文）
While language models demonstrate sophisticated syntactic capabilities, the extent to which their internal mechanisms align with cross-constructional principles studied in linguistics remains poorly understood. This study investigates whether models employ shared neural mechanisms across different syntactic constructions by applying causal interpretability methods at a granular level. Focusing on filler-gap dependencies and negative polarity item (NPI) licensing, we utilize activation patching to identify the functional roles of specific attention heads and MLP blocks. Our results reveal a highly localized and shared mechanism for filler-gap dependencies located in the early to middle layers, whereas NPI processing exhibits no such unified mechanism. Furthermore, we find that these mechanisms identified by activation patching generalize to out-of-distribution, while distributed alignment search, a supervised interpretability method, is susceptible to overfitting on narrow linguistic distributions. Finally, we validate our findings by demonstrating that the manipulation of the identified components improves model performance on acceptability judgment benchmarks.