GlobalMamba: Global Image Serialization for Vision Mamba

📄 arXiv: 2410.10316v1 📥 PDF

作者: Chengkun Wang, Wenzhao Zheng, Jie Zhou, Jiwen Lu

分类: cs.CV

发布日期: 2024-10-14

💡 一句话要点

GlobalMamba：通过全局图像序列化增强Vision Mamba的性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: Vision Mamba 全局图像序列化 离散余弦变换 图像分类 目标检测 语义分割 频率域分析

📋 核心要点

  1. 现有Vision Mamba方法忽略了图像的2D结构信息，并且难以通过局部patch的顺序处理提取全局信息。
  2. GlobalMamba通过DCT将图像转换到频率域，并按频率范围排列像素，从而实现全局图像序列化。
  3. 实验结果表明，GlobalMamba在图像分类、目标检测和语义分割任务上均取得了显著的性能提升。

📝 摘要（中文）

Vision Mamba在视觉任务上表现出强大的性能，并且计算复杂度与图像token数量呈线性关系。这种效率源于对图像token的顺序处理。然而，现有方法大多采用基于patch的图像token化，然后将其展平为1D序列进行因果处理，忽略了图像固有的2D结构相关性。通过对局部patch的顺序处理也很难提取全局信息。本文提出了一种全局图像序列化方法，将图像转换为包含2D图像全局信息的因果token序列。我们首先使用离散余弦变换（DCT）将图像从空间域转换到频率域，然后按照相应的频率范围排列像素。我们进一步将同一频带内的每个集合转换回空间域，以获得一系列图像，然后再进行token化。我们基于提出的全局图像序列化构建了一个具有因果输入格式的Vision Mamba模型GlobalMamba，它可以更好地利用图像序列之间的因果关系。大量的实验证明了GlobalMamba的有效性，包括ImageNet-1K上的图像分类、COCO上的目标检测和ADE20K上的语义分割。

🔬 方法详解

问题定义：现有Vision Mamba模型在处理图像时，通常将图像分割成patch，然后展平成一维序列进行处理，忽略了图像固有的二维结构信息，导致模型难以捕捉图像的全局上下文信息。此外，顺序处理局部patch的方式也限制了模型提取全局信息的能力。

核心思路：GlobalMamba的核心思路是通过全局图像序列化，将图像转换为包含全局信息的因果token序列。具体来说，就是先将图像转换到频率域，然后在频率域中进行像素排列，最后再转换回空间域，从而得到一系列包含全局信息的图像序列。这样，模型就可以在处理图像序列时，同时考虑到图像的局部和全局信息。

技术框架：GlobalMamba的整体框架包括以下几个主要步骤：1) 使用离散余弦变换（DCT）将图像从空间域转换到频率域；2) 按照频率范围排列频率域的像素；3) 将同一频率范围内的像素集合转换回空间域，得到一系列图像；4) 对这些图像进行token化，得到输入序列；5) 将输入序列输入到Vision Mamba模型中进行处理。

关键创新：GlobalMamba的关键创新在于提出了全局图像序列化方法，该方法能够有效地将图像转换为包含全局信息的因果token序列。与传统的patch-based方法相比，GlobalMamba能够更好地捕捉图像的二维结构信息和全局上下文信息。

关键设计：GlobalMamba的关键设计包括：1) 使用DCT进行图像的频率域转换；2) 设计了一种基于频率范围的像素排列方法；3) 将频率域像素转换回空间域，生成一系列图像；4) 构建了一个基于全局图像序列化的Vision Mamba模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GlobalMamba在ImageNet-1K图像分类、COCO目标检测和ADE20K语义分割任务上进行了广泛的实验。实验结果表明，GlobalMamba在这些任务上均取得了显著的性能提升，证明了其有效性。具体的性能数据和对比基线在论文中有详细的展示。

🎯 应用场景

GlobalMamba具有广泛的应用前景，可以应用于图像分类、目标检测、语义分割等各种视觉任务。该方法能够有效地提高模型的性能，尤其是在需要全局上下文信息的任务中。未来，GlobalMamba还可以应用于视频理解、医学图像分析等领域，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision mambas have demonstrated strong performance with linear complexity to the number of vision tokens. Their efficiency results from processing image tokens sequentially. However, most existing methods employ patch-based image tokenization and then flatten them into 1D sequences for causal processing, which ignore the intrinsic 2D structural correlations of images. It is also difficult to extract global information by sequential processing of local patches. In this paper, we propose a global image serialization method to transform the image into a sequence of causal tokens, which contain global information of the 2D image. We first convert the image from the spatial domain to the frequency domain using Discrete Cosine Transform (DCT) and then arrange the pixels with corresponding frequency ranges. We further transform each set within the same frequency band back to the spatial domain to obtain a series of images before tokenization. We construct a vision mamba model, GlobalMamba, with a causal input format based on the proposed global image serialization, which can better exploit the causal relations among image sequences. Extensive experiments demonstrate the effectiveness of our GlobalMamba, including image classification on ImageNet-1K, object detection on COCO, and semantic segmentation on ADE20K.