Global Divergence, Local Convergence: Representation Geometry in SSMs and Transformers
作者: Amit Ben-Artzy, Roy Schwartz
分类: cs.CL
发布日期: 2026-09-08
💡 一句话要点
研究SSMs与Transformers的表示几何特性以揭示其功能收敛性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 状态空间模型 Transformers 表示几何 语言建模 概念编码 有效容量 多尺度分析
📋 核心要点
- 现有的状态空间模型与Transformers在架构上存在显著差异，如何影响其内部表示的几何特性仍不明确。
- 通过多尺度分析，论文提出了对不同模型表示几何的比较，揭示了其在信息分布上的差异。
- 实验结果显示，尽管几何结构不同，SSMs与Transformers在有效容量上高度匹配，且在概念编码上表现出相似性。
📝 摘要（中文）
近期的状态空间模型（SSMs）如Mamba在语言建模性能上与Transformers相当，尽管它们的架构截然不同。本文探讨了这些结构差异如何影响内部表示的几何和功能特性。通过对Transformers、SSMs及混合架构的多尺度分析，发现SSMs的表示信息在所有维度上均匀分布，而Transformers的表示则主要集中在一个主方向上。尽管几何结构不同，两者的有效容量却高度匹配。此外，研究还表明，Transformers的主方向并不一定编码更多的概念信息，且在局部语义流形上表现出显著的功能收敛性。
🔬 方法详解
问题定义：本文旨在探讨状态空间模型（SSMs）与Transformers在表示几何上的差异及其对功能的影响。现有方法未能深入分析这两种架构在表示能力和几何结构上的具体关系。
核心思路：通过对SSMs和Transformers的表示进行多尺度分析，论文揭示了它们在信息分布和几何特性上的不同，进而探讨这些差异如何影响模型的有效容量和概念编码。
技术框架：研究首先对SSMs和Transformers的表示进行比较，分析其在不同层次上的几何分布。接着，通过混合架构的实验，观察表示空间的变化，最后评估不同模型在概念编码上的相似性。
关键创新：论文的主要创新在于揭示了SSMs与Transformers在局部语义流形上的功能收敛性，尽管它们的几何结构截然不同。这一发现挑战了传统对模型架构与表示能力之间关系的理解。
关键设计：研究中使用了秩约束探针来分析模型的概念编码，确保了对不同模型在表示维度上的比较具有一致性。此外，实验设计中对混合架构的评估提供了对表示空间变化的深入理解。
🖼️ 关键图片
📊 实验亮点
实验结果表明，尽管SSMs与Transformers在几何结构上存在显著差异，但两者的有效容量高度匹配。此外，Transformers的主方向并不一定编码更多的概念信息，显示出在局部语义流形上的功能收敛性。这一发现为模型设计提供了新的思路。
🎯 应用场景
该研究为理解不同语言模型架构的内部工作机制提供了新的视角，具有重要的理论价值和实际应用潜力。未来，这些发现可以指导新模型的设计，尤其是在需要高效表示和概念编码的自然语言处理任务中。
📄 摘要（原文）
Recent state-space models (SSMs) such as Mamba achieve language modeling performance comparable to transformers despite relying on fundamentally different architectures. This raises an important question: how do these structural differences influence the geometry and functional nature of their internal representations? We study this question through a multi-scale analysis of representations in transformers, SSMs, and hybrid architecture. First, we find that SSMs distribute their representational information evenly across all dimensions, whereas transformer representations are heavily dominated by a single principal direction. By evaluating hybrid architectures, we observe that the representation space becomes increasingly skewed toward a single dominant direction after each attention layer. Next, we explore how the different geometric spread of representations impacts representational capacity through compressibility. Surprisingly, we find that despite their contrasting geometric structures, both architectures exhibit tightly matched effective capacities. We further investigate whether this skewed geometry affects how concepts are encoded. Using rank-constrained probes, we demonstrate that both architectures encode concepts in subspaces of surprisingly similar dimensionality. Furthermore, we demonstrate that the transformers' dominant principal direction does not inherently encode more conceptual information. Finally, we zoom in and examine the alignment between manifolds, either by analyzing representations of specific topics or by looking at the nearest neighborhoods of tokens, and find that they are highly aligned. Ultimately, our analysis suggests that while transformers and SSMs induce different usage of latent space, they display a striking functional convergence at the level of local semantic manifolds.