Do Language Models Encode Knowledge of Linguistic Constraint Violations?

📄 arXiv: 2605.12055v1 📥 PDF

作者: Hardy, Sebastian Padó

分类: cs.CL

发布日期: 2026-05-12

💡 一句话要点

提出稀疏自编码器以检测语言模型中的语法约束违规特征

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 语法约束 稀疏自编码器 特征检测 无监督学习 自然语言处理

📋 核心要点

  1. 现有大型语言模型的内部机制不明确，尤其是在处理不合语法句子时的表现机制尚未被充分理解。
  2. 本文提出使用稀疏自编码器来分解语言模型的激活特征，并引入敏感度评分以识别与语法违规相关的特征。
  3. 实验结果显示，尽管部分现象存在选择性因果结构的证据，但整体上未能支持统一的语法违规检测器的存在。

📝 摘要（中文）

大型语言模型（LLMs）在语言表现上取得了显著成绩，但其内部机制仍不清晰。本文探讨了LLMs是否在其参数中编码了语言约束违规的表示，并在处理不合语法的句子时选择性激活。通过使用稀疏自编码器分解多义激活为稀疏的单义特征，本文提出了一种敏感度评分，用于识别在约束违规与合规输入上优先激活的特征。尽管部分现象显示出选择性因果结构的证据，但整体结果对当前语言模型中统一的语法违规检测器的支持有限。

🔬 方法详解

问题定义：本文旨在探讨大型语言模型是否在其参数中编码了语言约束违规的表示，现有方法未能有效揭示其内部机制。

核心思路：通过稀疏自编码器分解多义激活为稀疏的单义特征，并引入敏感度评分来识别优先激活的特征，从而检测潜在的违规特征。

技术框架：整体流程包括使用稀疏自编码器对模型激活进行分解，计算敏感度评分，并通过共轭伪造框架评估特征的有效性。

关键创新：引入敏感度评分和共轭伪造框架，提供了一种新的无监督检测潜在语法违规特征的方法，区别于传统的监督学习方法。

关键设计：在稀疏自编码器中，特征的选择和激活阈值设置是关键，损失函数设计用于优化特征的稀疏性和单义性。实验中未能找到一致共享的特征，表明现有模型的局限性。

📊 实验亮点

实验结果表明，尽管部分现象显示出选择性因果结构的证据，但整体上未能满足联合伪造标准，且没有特征在所有类别中一致共享，显示出当前语言模型在语法违规检测方面的局限性。

🎯 应用场景

该研究为理解大型语言模型的内部机制提供了新的视角，尤其是在处理语法违规时的表现。其方法可应用于自然语言处理领域，帮助改进语言模型的设计和评估，未来可能推动更高效的语法检测工具的开发。

📄 摘要（原文）

Large Language Models (LLMs) achieve strong linguistic performance, yet their internal mechanisms for producing these predictions remain unclear. We investigate the hypothesis that LLMs encode representations of linguistic constraint violations within their parameters, which are selectively activated when processing ungrammatical sentences. To test this, we use sparse autoencoders to decompose polysemantic activations into sparse, monosemantic features and recover candidates for violation-related features. We introduce a sensitivity score for identifying features that are preferentially activated on constraint-violated versus well-formed inputs, enabling unsupervised detection of potential violation-specific features. We further propose a conjunctive falsification framework with three criteria evaluated jointly. Overall, the results are negative in two respects: (1) the falsification criteria are not jointly satisfied across linguistic phenomena, and (2) no features are consistently shared across all categories. While some phenomena show partial evidence of selective causal structure, the overall pattern provides limited support for a unified set of grammatical violation detectors in current LMs.