Norm or Direction? Decoding Vision Mambas for High-Resolution Vision

📄 arXiv: 2607.18625v1 📥 PDF

作者: Jin Yu, Juyoun Park

分类: cs.CV, cs.AI

发布日期: 2026-07-21

💡 一句话要点

提出Vision Mamba以提高高分辨率视觉任务的性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉模型 选择性状态空间模型 图像分类 语义分割 信息编码 深度学习

📋 核心要点

  1. 现有的视觉模型在处理高分辨率图像时存在效率低下和信息编码不一致的问题。
  2. 论文提出了Vision Mamba模型，通过选择性状态空间模型（SSMs）优化视觉信息的编码方式。
  3. 实验结果表明，VMamba在全微调的语义分割任务中始终优于MambaOut，显示出其在密集预测中的优势。

📝 摘要（中文）

Vision Mamba模型通过用线性复杂度的选择性状态空间模型（SSMs）替代二次自注意力，成为高效的视觉骨干网络。然而，MambaOut展示了一个门控卷积块在图像分类上可以匹敌或超越VMamba，这引发了对SSMs在视觉任务中必要性的质疑。通过交叉模型中心核对齐（CKA）分析，我们发现VMamba的最终阶段块形成的表示与MambaOut及其前置块显著不同。我们进一步分析了最终块特征，发现MambaOut在高范数前景标记中集中类区分信息，而VMamba则在背景区域产生高范数标记，且主要保留在标记方向上的区分信号。这表明两种模型依赖不同的编码策略，并将这一差异与高分辨率分类和语义分割联系起来。最终，VMamba在密集预测中的优势不仅源于SSM机制或序列长度，更在于语义证据在标记幅度和方向上的组织方式。

🔬 方法详解

问题定义：论文要解决的问题是现有视觉模型在高分辨率图像处理中的效率和信息编码不一致性，尤其是SSMs的必要性受到质疑。

核心思路：论文的核心思路是通过分析不同模型的表示方式，揭示VMamba和MambaOut在视觉信息编码上的差异，进而优化模型设计。

技术框架：整体架构包括使用交叉模型中心核对齐（CKA）分析不同模型的表示，重点关注最终块特征的幅度和方向，分析其在图像分类和语义分割中的表现。

关键创新：最重要的技术创新点在于揭示了VMamba和MambaOut在信息编码策略上的根本区别，特别是在标记幅度和方向的组织方式上。

关键设计：关键设计包括对最终块特征的分解，分析高范数标记的分布，以及在全微调语义分割任务中采用的损失函数和网络结构设置。通过这些设计，VMamba能够在密集预测任务中保持更高的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在全微调的语义分割任务中，VMamba的表现显著优于MambaOut，具体而言，VMamba在多个数据集上均实现了更高的准确率，证明了其在密集预测中的优势。

🎯 应用场景

该研究的潜在应用领域包括高分辨率图像分类、语义分割以及其他计算机视觉任务。通过优化视觉模型的编码策略，能够提升在复杂场景下的视觉理解能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision Mamba models replace quadratic self-attention with linear complexity selective state space models (SSMs), emerging as efficient visual backbones. However, MambaOut demonstrates that a Gated CNN block can match or exceed VMamba on image classification, questioning the necessity of SSMs for vision. This raises a fundamental question: do VMamba and MambaOut encode visual information differently at the representation level? To investigate, we apply cross model centered kernel alignment (CKA) analysis and find that VMamba's final stage blocks form representations distinctly different from both MambaOut and its own preceding blocks. We therefore focus on the final block features, decomposing each spatial token into magnitude and direction. MambaOut concentrates class-discriminative information in high-norm foreground tokens that align with Grad-CAM attribution. VMamba, by contrast, produces high-norm tokens predominantly in background regions, misaligned with Grad-CAM, yet preserves discriminative signals primarily in token directions. These observations reveal that the two models rely on different encoding strategies. We connect this difference to high-resolution classification and semantic segmentation. VMamba distributes logit support broadly across object regions, whereas MambaOut relies on sparse dominant tokens, a strategy that becomes less stable as token counts grow. Under full fine-tuning for segmentation, VMamba consistently outperforms MambaOut. These results suggest that VMamba's advantage in dense prediction stems not merely from the SSM mechanism or sequence length, but from how semantic evidence is organized across token magnitude, direction. Ultimately, we conclude that token magnitude and directional structure serve as critical axes for improving visual backbones, particularly under dense supervision.