Comparing Latent Concept Formation in State Space Models and Transformers via Sparse Autoencoders
作者: Rithin Nagaraj, Rupa Laalasa Oruganti, Prerna Subhashchandra Kunder, Ashwini M Joshi
分类: cs.LG
发布日期: 2026-09-21
备注: Contains about 6 pages
💡 一句话要点
通过稀疏自编码器比较状态空间模型与变换器的潜在概念形成
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 状态空间模型 变换器 稀疏自编码器 潜在表示 语义理解 特征分析
📋 核心要点
- 现有的变换器模型在处理上下文时存在二次扩展的问题，导致信息瓶颈，影响理解能力。
- 本文采用稀疏自编码器进行大规模特征级分析，探索SSMs与变换器在潜在表示上的差异。
- 实验结果显示，Mamba与Pythia之间的表示差异极小，99.98%的特征高度一致，支持普遍性假设。
📝 摘要（中文）
随着变换器自注意力的二次扩展，选择性状态空间模型（SSMs）如Mamba的采用日益增多，这种模型将过去的上下文压缩为固定大小的递归隐藏状态。本文通过稀疏自编码器（SAEs）对Mamba-130m与Pythia-70m在1000万标记语料库上的特征级对应分析，发现两种架构之间并无系统性的表示差异，99.98%的Mamba特征聚集在上对齐边界，初步支持普遍性假设。我们进一步识别并定性描述了这0.02%的分歧特征，发现其模式与递归瓶颈选择性限制刚性语法解析而非广泛语义本体的假设一致。
🔬 方法详解
问题定义：本文旨在探讨状态空间模型（如Mamba）与变换器（如Pythia）在潜在表示学习上的差异，现有方法未能充分揭示两者的本质区别。
核心思路：通过稀疏自编码器对两种模型的特征进行大规模比较，分析其在信息压缩和表示学习上的表现，验证普遍性假设。
技术框架：研究采用稀疏自编码器对Mamba和Pythia的特征进行提取与对比，分析特征的Jaccard分布，评估其聚类情况。
关键创新：本研究首次通过特征级别的分析，系统性地比较了两种不同架构的潜在表示，发现其在核心语义理解上并无显著差异。
关键设计：在实验中，采用了1000万标记的语料库，设置了特征提取和聚类分析的参数，确保了结果的可靠性和有效性。特征的Jaccard分布被用来量化表示的一致性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，99.98%的Mamba特征聚集在上对齐边界，显示出两种架构在潜在表示上的高度一致性。这一发现挑战了关于架构差异的传统假设，支持了普遍性假设的初步证据。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、机器翻译和语义理解等。通过深入理解不同模型的潜在表示，研究者可以优化模型架构，提高语义理解能力，推动智能系统的发展。未来可能影响到更广泛的AI应用，提升人机交互的自然性与准确性。
📄 摘要（原文）
The quadratic scaling of Transformer self-attention has driven the adoption of sub-quadratic Selective State Space Models (SSMs) like Mamba, which compress past context into a fixed-size recurrent hidden state. This strict informational bottleneck raises a foundational question for mechanistic interpretability: do SSMs and Transformers learn fundamentally distinct latent representations? In this work, we employ Sparse Autoencoders (SAEs) to conduct a large-scale, feature-level correspondence analysis between Mamba-130m and Pythia-70m over a 10-million token corpus. Contrary to hypotheses predicting widespread architectural divergence, we find no evidence of systematic representational divergence between architectures: across the observed Jaccard distribution, 99.98% of Mamba features cluster toward the upper alignment boundary, providing preliminary feature-level support for the Universality Hypothesis. We further identify and qualitatively characterize this microscopic fraction (0.02%) of diverging features, finding patterns consistent with the hypothesis that the recurrent bottleneck selectively limits the parsing of rigid syntax rather than broad semantic ontology. We demonstrate that while Pythia's unconstrained attention permits the monosemantic decomposition of distinct formatting edge-cases, Mamba is forced to compress unrelated syntactical anomalies into polysemantic "junk drawer" neurons to preserve state capacity. Collectively, these results suggest that architectural routing mechanisms may have negligible impact on core semantic understanding, with representational divergence confined to extreme structural margins.