Beyond State Capacity: Why Retrieval Breaks in Mamba
作者: Nir Yarden, Amit Ben-Artzy, Roy Schwartz
分类: cs.CL
发布日期: 2026-10-14
备注: 15 pages, 6 figures. Under review
💡 一句话要点
提出查询优先检索机制以解决Mamba模型的检索瓶颈问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 信息检索 Mamba模型 Transformer 选择机制 深度学习
📋 核心要点
- 现有Mamba模型在上下文检索中表现不佳，主要原因是固定大小的递归状态导致信息丢失。
- 论文提出查询优先检索的思路，认为状态容量并非唯一限制因素，重点分析选择机制的表现。
- 实验结果显示，Mamba在检索任务中仍显著落后于Transformer，且选择门控对模型输出有重要影响。
📝 摘要（中文）
Mamba模型在上下文检索中表现不如Transformer，通常归因于其固定大小的递归状态。然而，本文通过关注查询优先检索，挑战了这一假设。研究表明，即使在此设置下，Mamba仍显著落后于Transformer，尽管其选择机制旨在区分相关内容与干扰项。进一步分析发现，Mamba的选择门控对状态更新有足够的控制能力，但由于门控依赖输入，需依赖于即将到来的标记表示来编码其与查询的相关性。研究发现，相关性信号在模型深度中逐渐显现，且门控在检索关键层中尚未与相关性对齐。因此，Mamba的检索瓶颈不仅限于状态容量，延迟出现的相关性信息常常阻碍成功检索。
🔬 方法详解
问题定义：本文旨在解决Mamba模型在上下文检索中的性能瓶颈，现有方法认为其固定状态容量是主要限制因素。
核心思路：论文提出查询优先检索的框架，认为在此设置下，状态容量不应成为限制，重点分析选择机制的有效性。
技术框架：研究通过分析Mamba的选择门控机制，探讨其对状态更新的控制能力，采用逐层探测标记表示的相关性信号。
关键创新：最重要的创新在于识别出Mamba的选择机制在检索关键层中未能及时对齐相关性信号，揭示了检索瓶颈的复杂性。
关键设计：研究中关注选择门控的输入依赖性，探讨了门控如何影响模型输出，并分析了不同层次中相关性信号的逐渐显现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Mamba在查询优先检索设置下仍显著落后于Transformer，具体表现为准确率波动较大。通过对选择门控的干预，发现其对模型输出的影响显著，准确率在不同门控设置下可变化至极端值，表明门控机制的潜力与局限性。
🎯 应用场景
该研究对自然语言处理中的信息检索任务具有重要的应用价值，尤其是在需要高效处理大规模上下文信息的场景中。通过优化模型的选择机制，未来有望提升Mamba及类似模型在实际应用中的表现，推动智能问答、搜索引擎等领域的发展。
📄 摘要（原文）
Mamba models underperform Transformers on in-context retrieval. This gap is usually attributed to Mamba's fixed-size recurrent state, which loses information as the context grows. We challenge this assumption by focusing on query-first retrieval, a setup in which the query precedes the context and state capacity should not be the binding constraint. We show that even in this setting Mamba lags substantially behind Transformers, despite its selection mechanism, which was designed to distinguish relevant content from distractors. We then demonstrate that the Mamba selection gates have sufficient control over the state updates to influence the model output: intervening on specific gates alone can swing accuracy between extremes. However, as gates are input-dependent, they require the incoming token's representation to encode its relevance to the query. We therefore probe token representations across layers, and find that the relevance signal emerges only gradually with model depth, and that the gates begin to reflect it only several layers deeper. Crucially, we find that gates in retrieval-critical layers are not yet aligned with relevance. The selection mechanism is thus expressive enough to solve the task, but it commonly operates on a relevance signal that has not yet arrived. Mamba's retrieval bottleneck therefore extends beyond state capacity: even when capacity is sufficient, the delayed emergence of relevance information across depth often prevents successful retrieval.