Differential syntactic and semantic encoding in LLMs

📄 arXiv: 2601.04765v1 📥 PDF

作者: Santiago Acevedo, Alessandro Laio, Marco Baroni

分类: cs.CL, cs.AI, cs.LG, physics.comp-ph

发布日期: 2026-01-08

💡 一句话要点

通过分析LLM内部表征，揭示句法和语义信息的差异化编码方式

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 句法编码 语义编码 表征学习 可解释性 深度学习 自然语言处理

📋 核心要点

  1. 现有方法难以深入理解LLM内部如何编码句法和语义信息，阻碍了模型的可解释性和优化。
  2. 论文提出通过计算句法和语义“质心”向量，并分析其对句子相似性的影响，来研究LLM的编码方式。
  3. 实验表明，句法和语义信息在LLM的不同层以不同方式编码，且可以部分解耦，揭示了差异化编码机制。

📝 摘要（中文）

本文研究了大型语言模型（LLM）内部层表征中句法和语义信息的编码方式，重点关注了超大型模型DeepSeek-V3。研究发现，通过对共享句法结构或语义的句子的隐藏层表征向量进行平均，可以获得能够捕捉表征中包含的大部分句法和语义信息的向量。特别是，从句子向量中减去这些句法和语义“质心”会强烈影响其与句法和语义匹配的句子的相似性，表明句法和语义至少部分地以线性方式编码。此外，研究还发现句法和语义的跨层编码profile不同，并且这两种信号可以在一定程度上解耦，表明LLM表征中对这两种类型的语言信息进行了差异化编码。

🔬 方法详解

问题定义：现有大型语言模型（LLM）在处理自然语言时，其内部如何编码句法和语义信息仍然是一个黑盒。理解LLM如何区分和处理这两种信息对于提高模型的可解释性、鲁棒性和优化方向至关重要。现有方法难以有效分离和分析LLM内部的句法和语义表征，缺乏对二者差异化编码机制的深入理解。

核心思路：论文的核心思路是通过构建句法和语义的“质心”向量，来代表特定句法结构或语义含义的平均表征。通过分析句子向量与这些质心向量的相似性，以及从句子向量中减去质心向量后对句子相似性的影响，来推断LLM如何编码句法和语义信息。这种方法旨在揭示句法和语义信息在LLM内部表征中的线性可分性以及差异化编码方式。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择一个大型语言模型（DeepSeek-V3）。2) 构建包含具有相似句法结构或语义含义的句子集合。3) 提取这些句子在LLM各层的隐藏层表征向量。4) 计算每个句法或语义集合的平均表征向量，即“质心”向量。5) 分析句子向量与质心向量的相似性，以及减去质心向量后对句子相似性的影响。6) 比较句法和语义信息的跨层编码profile，分析二者是否可以解耦。

关键创新：该研究的关键创新在于提出了一种基于“质心”向量的方法，用于分析LLM内部的句法和语义编码。与以往的研究相比，该方法能够更清晰地揭示句法和语义信息的线性可分性以及差异化编码方式。通过分析减去质心向量后对句子相似性的影响，可以更直接地推断句法和语义信息在LLM表征中的作用。

关键设计：研究中关键的设计包括：1) 选择DeepSeek-V3作为研究对象，因为它是一个超大型模型，具有较强的语言理解能力。2) 精心构建句法和语义集合，确保集合内的句子具有高度的句法或语义相似性。3) 使用余弦相似度作为衡量句子向量相似性的指标。4) 通过比较句法和语义信息的跨层编码profile，分析二者在不同层中的相对重要性。

📊 实验亮点

实验结果表明，从句子向量中减去句法或语义“质心”向量会显著影响其与句法或语义匹配的句子的相似性，表明句法和语义信息至少部分地以线性方式编码。此外，研究还发现句法和语义的跨层编码profile不同，并且这两种信号可以在一定程度上解耦，表明LLM表征中对这两种类型的语言信息进行了差异化编码。

🎯 应用场景

该研究成果可应用于提升LLM的可解释性和可控性，例如，通过调整模型内部的句法和语义表征，可以提高模型在特定任务上的性能。此外，该研究还可以为开发更高效的LLM架构提供指导，例如，可以设计专门的模块来处理句法和语义信息。

📄 摘要（原文）

We study how syntactic and semantic information is encoded in inner layer representations of Large Language Models (LLMs), focusing on the very large DeepSeek-V3. We find that, by averaging hidden-representation vectors of sentences sharing syntactic structure or meaning, we obtain vectors that capture a significant proportion of the syntactic and semantic information contained in the representations. In particular, subtracting these syntactic and semantic ``centroids'' from sentence vectors strongly affects their similarity with syntactically and semantically matched sentences, respectively, suggesting that syntax and semantics are, at least partially, linearly encoded. We also find that the cross-layer encoding profiles of syntax and semantics are different, and that the two signals can to some extent be decoupled, suggesting differential encoding of these two types of linguistic information in LLM representations.