Probing Minimalist Phase Structure in LLMs: What Universal Dependencies Cannot Represent

📄 arXiv: 2605.26431v1 📥 PDF

作者: Yuanhao Chen, Peter Chin

分类: cs.CL, stat.AP

发布日期: 2026-05-26

💡 一句话要点

通过探究LLM中的极简主义句法结构，揭示通用依存句法无法表示的信息

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 句法结构 通用依存句法 极简主义程序 结构探针

📋 核心要点

  1. 通用依存句法（UD）无法编码如阶段边界等形式句法抽象，现有基于UD的探针无法有效评估LLM是否具备此类结构。
  2. 论文设计了特殊的wh-移动刺激，在控制UD距离不变的情况下，通过改变极简主义程序（MP）的阶段边界数量来探究LLM的句法结构。
  3. 实验结果表明，LLM能够编码UD无法表示的句法抽象，且这些抽象在模型中具有因果活性，揭示了预训练的强大能力。

📝 摘要（中文）

本文研究大型语言模型（LLM）是否编码了通用依存句法（UD）无法表示的形式句法抽象，如阶段边界或阶段内部的凝聚力。作者使用wh-移动刺激评估结构探针，其中UD距离在不同条件下设计为不变，因此任何非零效应都反映了UD之外的结构。三种条件——裸小句、不定式和限定式——按wh-元素跨越的极简主义程序（MP）阶段边界的数量排序。在来自四个系列的13个LLM中，作者发现了一个跨子句对上的阶段计数梯度（12/13个模型），以及一个子句内对上的13/13符号不对称，其UD距离在不同条件下是相同的——后者由阶段内部凝聚力特别预测，这是一种UD无法表示的MP抽象。激活修补证实了这些表示在12/13个模型中具有因果活性。这些发现表明，分布式的预训练可以诱导与形式句法抽象对齐的表示，而这些抽象超出了基于标注的探针的范围；基于UD的探针提供了句法编码的下限，而不是上限。

🔬 方法详解

问题定义：现有基于通用依存句法（UD）的结构探针无法有效评估大型语言模型（LLM）是否具备更深层次的形式句法抽象，例如极简主义程序（MP）中的阶段边界和阶段内部凝聚力。UD的局限性导致无法捕捉到这些细微的句法结构，从而限制了对LLM句法理解能力的全面评估。

核心思路：论文的核心思路是设计一种新的评估方法，该方法能够绕过UD的限制，直接探究LLM是否编码了UD无法表示的句法信息。通过构建特殊的wh-移动刺激，控制UD距离不变，并操纵MP阶段边界的数量，从而观察LLM对不同句法结构的反应。

技术框架：论文采用结构探针方法，并结合激活修补技术。首先，构建包含三种条件的wh-移动刺激：裸小句、不定式和限定式。这三种条件对应不同数量的MP阶段边界。然后，使用结构探针分析LLM在处理这些刺激时的内部表示。最后，通过激活修补技术验证这些表示是否在模型中具有因果活性。

关键创新：论文的关键创新在于设计了一种新的评估方法，该方法能够探究LLM中UD无法表示的句法结构。通过控制UD距离不变，并操纵MP阶段边界的数量，从而能够更准确地评估LLM的句法理解能力。此外，结合激活修补技术，验证了这些句法结构在模型中的因果活性。

关键设计：关键设计包括：1) 精心设计的wh-移动刺激，确保UD距离在不同条件下保持不变，从而能够隔离MP阶段边界的影响。2) 使用结构探针提取LLM的内部表示，并分析这些表示与不同句法结构之间的关系。3) 采用激活修补技术，验证这些表示在模型中的因果活性，即改变这些表示是否会影响模型的输出。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在13个LLM中，12个模型在跨子句对上表现出阶段计数梯度，所有13个模型在子句内对上表现出符号不对称，这与MP的阶段内部凝聚力预测一致。激活修补实验证实，这些句法表示在12/13个模型中具有因果活性，表明LLM能够编码UD无法表示的句法抽象。

🎯 应用场景

该研究成果可应用于提升自然语言处理模型的句法理解能力，尤其是在需要处理复杂句法结构的场景下，例如机器翻译、文本摘要和问答系统。通过更好地理解LLM如何编码句法信息，可以开发更有效的模型训练方法，从而提高模型的性能和鲁棒性。

📄 摘要（原文）

Structural probes train on Universal Dependencies (UD), which does not encode formal-syntactic abstractions such as phase boundaries or phase-internal cohesion. Whether large language models (LLMs) encode these remains an open question that UD-based probing cannot answer by construction. We evaluate structural probes on wh-movement stimuli where UD distances are invariant across conditions by design -- any non-zero effect therefore reflects structure beyond UD. The three conditions -- bare small clause, infinitival, and finite -- are ordered by the number of Minimalist Program (MP) phase boundaries the wh-element crosses. Across 13 LLMs from four families, we find a phase-count gradient on a cross-clause pair (12/13 models) and a 13/13 sign asymmetry on a within-clause pair whose UD distance is identical across conditions -- the latter specifically predicted by phase-internal cohesion, an MP abstraction invisible to UD by construction. Activation patching confirms the representations are causally active in 12/13 models. These findings suggest that distributional pretraining can induce representations aligned with formal-syntactic abstractions beyond the reach of annotation-based probing; UD-grounded probes provide a lower bound on syntactic encoding, not an upper bound.