Emergent effects of scaling on the functional hierarchies within large language models

📄 arXiv: 2501.07359v1 📥 PDF

作者: Paul C. Bogdan

分类: cs.CL, cs.AI

发布日期: 2025-01-13

💡 一句话要点

通过分析LLM内部激活，揭示模型规模对功能层级结构涌现的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 功能层级结构 模型规模 内部激活 注意力机制

📋 核心要点

  1. 现有观点认为LLM具有功能层级结构，但缺乏对模型规模影响的深入研究。
  2. 本研究通过分析不同规模LLM的内部激活，揭示了模型规模对功能层级结构的影响。
  3. 实验发现，大型模型在抽象级别上存在波动，且相邻层的注意力机制之间存在协调。

📝 摘要（中文）

本文重新审视了大型语言模型（LLM）架构中常见的功能层级结构观点，即早期层处理语法，中间层解析语义，后期层整合信息。研究将简单文本输入LLM（如“教堂和风琴”），提取激活值，并针对每一层训练支持向量机和岭回归模型来预测文本标签，从而检验该层是否编码了特定信息。对小型模型（Llama-3.2-3b）的分析部分支持了层级结构观点：项目级语义在早期层（2-7层）中表示最强，然后是两项关系（8-12层），最后是四项类比（10-15层）。之后，项目和简单关系的表示在更深层中逐渐减少，这些层专注于更全局的信息。然而，一些发现与稳定的层级结构观点相悖：深层虽然可以表示文档范围的抽象，但也压缩了来自上下文窗口早期部分的信息，而没有进行有意义的抽象。此外，在较大模型（Llama-3.3-70b-Instruct）中，抽象级别出现明显波动。相邻层的注意力机制之间存在协调。总之，抽象层级结构通常在各层中表现出来，但大型模型也以奇特的方式偏离这种结构。

🔬 方法详解

问题定义：现有研究对大型语言模型内部的功能层级结构的理解还不够深入，特别是缺乏对模型规模如何影响这种层级结构的认识。现有方法难以解释大型模型中出现的抽象级别波动和相邻层注意力机制的协调现象。

核心思路：本文的核心思路是通过分析不同规模LLM在处理简单文本时的内部激活，来推断每一层所编码的信息。通过训练分类器来预测文本标签，可以量化每一层对不同抽象级别信息的表示能力。通过比较不同规模模型的表现，可以揭示模型规模对功能层级结构的影响。

技术框架：研究主要包含以下几个阶段：1) 选择不同规模的LLM（Llama-3.2-3b和Llama-3.3-70b-Instruct）；2) 输入简单文本（如“教堂和风琴”）；3) 提取每一层的激活值；4) 针对每一层，训练支持向量机和岭回归模型来预测文本标签；5) 分析每一层对不同抽象级别信息的表示能力，例如项目级语义、两项关系和四项类比。

关键创新：本文最重要的技术创新点在于揭示了模型规模对LLM功能层级结构的影响。具体来说，研究发现大型模型在抽象级别上存在波动，且相邻层的注意力机制之间存在协调。这些发现挑战了传统的LLM功能层级结构观点，并为理解大型模型的内部工作机制提供了新的视角。

关键设计：研究的关键设计包括：1) 使用简单文本作为输入，以便更容易分析每一层所编码的信息；2) 使用支持向量机和岭回归模型作为分类器，以便量化每一层对不同抽象级别信息的表示能力；3) 比较不同规模模型的表现，以便揭示模型规模对功能层级结构的影响。研究中没有特别提到关键的参数设置、损失函数或网络结构等技术细节。

📊 实验亮点

实验结果表明，小型模型（Llama-3.2-3b）在一定程度上支持了传统的层级结构观点，但大型模型（Llama-3.3-70b-Instruct）在抽象级别上存在波动，且相邻层的注意力机制之间存在协调。这些发现挑战了传统的LLM功能层级结构观点。

🎯 应用场景

该研究成果可应用于理解和优化大型语言模型，例如，通过调整模型结构或训练策略，可以更好地控制模型的抽象级别和注意力机制，从而提高模型的性能和可解释性。此外，该研究还可以为开发更高效的知识表示和推理方法提供启示。

📄 摘要（原文）

Large language model (LLM) architectures are often described as functionally hierarchical: Early layers process syntax, middle layers begin to parse semantics, and late layers integrate information. The present work revisits these ideas. This research submits simple texts to an LLM (e.g., "A church and organ") and extracts the resulting activations. Then, for each layer, support vector machines and ridge regressions are fit to predict a text's label and thus examine whether a given layer encodes some information. Analyses using a small model (Llama-3.2-3b; 28 layers) partly bolster the common hierarchical perspective: Item-level semantics are most strongly represented early (layers 2-7), then two-item relations (layers 8-12), and then four-item analogies (layers 10-15). Afterward, the representation of items and simple relations gradually decreases in deeper layers that focus on more global information. However, several findings run counter to a steady hierarchy view: First, although deep layers can represent document-wide abstractions, deep layers also compress information from early portions of the context window without meaningful abstraction. Second, when examining a larger model (Llama-3.3-70b-Instruct), stark fluctuations in abstraction level appear: As depth increases, two-item relations and four-item analogies initially increase in their representation, then markedly decrease, and afterward increase again momentarily. This peculiar pattern consistently emerges across several experiments. Third, another emergent effect of scaling is coordination between the attention mechanisms of adjacent layers. Across multiple experiments using the larger model, adjacent layers fluctuate between what information they each specialize in representing. In sum, an abstraction hierarchy often manifests across layers, but large models also deviate from this structure in curious ways.