Lost in State Space: Probing Frozen Mamba Representations

📄 arXiv: 2605.00253v1 📥 PDF

作者: Bhagyashree Wagh, Akash Singh

分类: cs.CL, cs.LG

发布日期: 2026-04-30

备注: 8 pages, 2 figures

💡 一句话要点

探究Frozen Mamba表征：状态空间中语义信息提取的局限性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: Mamba模型 状态空间模型 句子表征 表征学习 各向异性 表征崩溃 自然语言处理

📋 核心要点

  1. 现有方法难以有效利用Mamba模型的状态空间进行句子表征提取，缺乏直接且无需额外训练的方案。
  2. 论文探索直接从Mamba模型的隐藏状态中提取句子表征，无需微调或额外的池化层。
  3. 实验表明，直接从patch边界读取隐藏状态的方法并未显著优于简单的平均池化，并发现了表征崩溃等问题。

📝 摘要（中文）

Mamba的循环状态h_t被设计为迄今为止每个token的压缩摘要。这引出了一个诱人的假设：如果在固定的patch边界提取token级别的输出y_t，我们可以免费获得语义句子摘要，无需池化层、微调和[CLS] token。我们仔细测试了这个假设。在五个基准测试（SST-2、CoLA、MRPC、STS-B、IMDb）中，我们比较了四种从预训练的Mamba-130M骨干网络中提取frozen句子表征的策略，采用严格的frozen-feature probing协议，并在计算可行的前提下使用三个随机种子。结果不支持该假设：patch边界读取并没有始终优于简单的平均池化。我们识别并量化了两种结构性病理：严重的各向异性（平均成对余弦相似度0.9999，标准差0.000044）和原始最终SSM状态中的表征崩溃（在CoLA上，所有三个种子上的MCC = 0.000，通过混淆矩阵确认）。我们进一步提出了正交注入，这是一种改进的递归，可以约束每次迭代的新信息。

🔬 方法详解

问题定义：论文旨在研究是否可以直接从预训练的Mamba模型的隐藏状态中提取高质量的句子表征，而无需进行微调或添加额外的池化层。现有方法通常需要额外的[CLS] token或池化操作，增加了计算成本和模型复杂度。论文关注的痛点是能否利用Mamba模型本身的状态空间来高效地获取句子级别的语义信息。

核心思路：论文的核心思路是假设Mamba模型的循环状态h_t已经包含了所有token的压缩信息，因此可以直接在固定的patch边界提取token级别的输出y_t，从而获得句子表征。这种方法避免了额外的训练或池化操作，旨在简化句子表征的提取过程。

技术框架：论文采用的整体框架是frozen-feature probing协议，即固定预训练的Mamba-130M模型的参数，然后评估不同策略提取的句子表征的质量。主要模块包括：1) Mamba-130M骨干网络；2) 四种句子表征提取策略（包括patch边界读取和平均池化）；3) 五个句子分类基准测试（SST-2, CoLA, MRPC, STS-B, IMDb）；4) 评估指标（如MCC, 准确率等）。

关键创新：论文的关键创新在于对Mamba模型的状态空间进行了深入的探究，并提出了直接从patch边界读取隐藏状态的句子表征提取方法。虽然实验结果表明该方法并未显著优于平均池化，但论文识别并量化了Mamba模型中存在的表征崩溃和各向异性问题，为后续研究提供了重要的参考。此外，论文还提出了正交注入方法，试图缓解这些问题。

关键设计：论文的关键设计包括：1) 使用预训练的Mamba-130M模型作为骨干网络；2) 比较四种不同的句子表征提取策略，包括在固定patch边界读取隐藏状态；3) 使用多个随机种子进行实验，以确保结果的可靠性；4) 使用MCC（Matthews correlation coefficient）等指标来评估句子表征的质量；5) 提出了正交注入方法，通过约束每次迭代的新信息来改进递归过程。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果表明，直接从Mamba模型的patch边界读取隐藏状态的方法，在五个基准测试中并未始终优于简单的平均池化。论文还发现Mamba模型存在严重的各向异性（平均成对余弦相似度接近1）和表征崩溃问题（在CoLA数据集上MCC接近0）。这些发现揭示了Mamba模型在句子表征学习方面的局限性，为后续研究提供了重要的方向。

🎯 应用场景

该研究探索了Mamba模型在自然语言处理领域的应用潜力，尤其是在句子表征学习方面。虽然当前结果不尽如人意，但对理解Mamba模型的内部机制和优化其表征能力具有重要意义。未来的研究可以基于此，改进Mamba模型的结构或训练方法，使其能够更好地应用于文本分类、情感分析等任务。

📄 摘要（原文）

Mamba's recurrent state h_t is, by construction, a compressed summary of every token seen so far. This raises a tempting hypothesis: if we extract token-level outputs y_t at fixed patch boundaries, we obtain semantic sentence summaries for free, with no pooling head, no fine-tuning, and no [CLS] token. We test this hypothesis carefully. Across five benchmarks (SST-2, CoLA, MRPC, STS-B, IMDb), we compare four strategies for extracting frozen sentence representations from a pretrained Mamba-130M backbone under a strict frozen-feature probing protocol, using three random seeds where computationally feasible. The results do not support the hypothesis: patch boundary readouts do not consistently outperform simple mean pooling. We identify and quantify two structural pathologies: severe anisotropy (mean pairwise cosine similarity 0.9999, std 0.000044) and representational collapse in the raw final SSM state (MCC = 0.000 on CoLA across all three seeds, confirmed via confusion matrix). We further propose orthogonal injection, a modified recurrence that constrains new information per