MambaSCI: Efficient Mamba-UNet for Quad-Bayer Patterned Video Snapshot Compressive Imaging
作者: Zhenghao Pan, Haijin Zeng, Jiezhang Cao, Yongyong Chen, Kai Zhang, Yong Xu
分类: cs.CV, eess.IV
发布日期: 2024-10-18
备注: NeurIPS 2024
💡 一句话要点
MambaSCI：用于Quad-Bayer视频快照压缩成像的高效Mamba-UNet
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 快照压缩成像 计算成像 Mamba模型 UNet Quad-Bayer模式
📋 核心要点
- 现有彩色视频SCI重建算法基于传统Bayer模式，应用于quad-Bayer模式视频时，易产生颜色失真和无效去马赛克。
- MambaSCI利用Mamba和UNet架构，定制Residual-Mamba-Blocks，包含STMamba、EDR和CA模块，高效重建quad-Bayer视频。
- 实验表明，MambaSCI在计算和内存成本更低的情况下，性能超越了现有最优方法，为移动设备应用提供了可能。
📝 摘要（中文）
彩色视频快照压缩成像(SCI)采用计算成像技术，在单个Bayer模式测量中捕获多个连续视频帧。随着主流智能手机相机中用于捕获高分辨率视频的quad-Bayer模式越来越受欢迎，移动摄影变得更容易被更广泛的受众所接受。然而，现有的彩色视频SCI重建算法是基于传统的Bayer模式设计的。当应用于quad-Bayer相机拍摄的视频时，这些算法通常会导致颜色失真和无效的去马赛克，使其无法用于主要设备。为了解决这个挑战，我们提出了MambaSCI方法，该方法利用Mamba和UNet架构来高效重建quad-Bayer模式的彩色视频SCI。据我们所知，我们的工作提出了第一个用于quad-Bayer模式SCI重建的算法，也是Mamba模型在该任务中的首次应用。具体来说，我们定制了Residual-Mamba-Blocks，它以残差方式连接了时空Mamba (STMamba)、边缘细节重建(EDR)模块和通道注意力(CA)模块。STMamba用于以线性复杂度建模长程时空依赖关系，EDR用于更好地重建边缘细节，CA用于补偿Mamba模型中缺失的通道信息交互。实验表明，MambaSCI以更低的计算和内存成本超越了最先进的方法。核心模块的PyTorch风格伪代码在补充材料中提供。
🔬 方法详解
问题定义：论文旨在解决quad-Bayer模式彩色视频快照压缩成像(SCI)重建问题。现有基于传统Bayer模式的SCI重建算法在处理quad-Bayer模式数据时，会出现颜色失真和去马赛克效果不佳的问题，无法满足移动设备的需求。
核心思路：论文的核心思路是利用Mamba模型的长程依赖建模能力和UNet的特征提取能力，设计一种高效的重建网络。通过定制Residual-Mamba-Blocks，结合时空Mamba (STMamba)、边缘细节重建(EDR)模块和通道注意力(CA)模块，实现对quad-Bayer模式SCI数据的高质量重建。
技术框架：MambaSCI基于UNet架构，主要由编码器、解码器和跳跃连接组成。编码器和解码器都包含多个Residual-Mamba-Blocks。每个Residual-Mamba-Block由STMamba、EDR和CA模块组成，并采用残差连接。STMamba用于建模长程时空依赖关系，EDR用于增强边缘细节重建，CA用于补偿通道信息交互的缺失。
关键创新：该论文的关键创新在于首次将Mamba模型应用于quad-Bayer模式SCI重建，并设计了Residual-Mamba-Blocks。与传统的卷积神经网络相比，Mamba模型能够以线性复杂度建模长程时空依赖关系，从而更有效地利用视频帧之间的时间信息。此外，EDR模块和CA模块的引入进一步提升了重建质量。
关键设计：Residual-Mamba-Blocks是MambaSCI的关键组成部分。STMamba模块采用选择性状态空间模型(Selective State Space Model, S6)来建模时空依赖关系。EDR模块采用卷积神经网络来提取边缘细节特征。CA模块采用通道注意力机制来增强重要通道的特征。损失函数方面，论文可能采用了L1损失或L2损失，以及感知损失等，以提高重建图像的质量。
🖼️ 关键图片
📊 实验亮点
MambaSCI在quad-Bayer模式SCI重建任务上取得了显著的性能提升。实验结果表明，MambaSCI在重建质量（PSNR、SSIM等指标）上超越了现有的最先进方法，同时降低了计算和内存成本。具体的数据提升幅度未知，但摘要强调了其优越性。该方法为quad-Bayer模式SCI重建提供了一种高效且实用的解决方案。
🎯 应用场景
MambaSCI在移动摄影领域具有广阔的应用前景，尤其是在配备quad-Bayer传感器的智能手机上。该方法可以提升低光照条件下的视频拍摄质量，减少颜色失真，并提高视频分辨率。此外，该技术还可以应用于监控、无人机等领域，实现高质量的视频采集和重建。未来，该研究有望推动计算成像技术在移动设备上的普及。
📄 摘要（原文）
Color video snapshot compressive imaging (SCI) employs computational imaging techniques to capture multiple sequential video frames in a single Bayer-patterned measurement. With the increasing popularity of quad-Bayer pattern in mainstream smartphone cameras for capturing high-resolution videos, mobile photography has become more accessible to a wider audience. However, existing color video SCI reconstruction algorithms are designed based on the traditional Bayer pattern. When applied to videos captured by quad-Bayer cameras, these algorithms often result in color distortion and ineffective demosaicing, rendering them impractical for primary equipment. To address this challenge, we propose the MambaSCI method, which leverages the Mamba and UNet architectures for efficient reconstruction of quad-Bayer patterned color video SCI. To the best of our knowledge, our work presents the first algorithm for quad-Bayer patterned SCI reconstruction, and also the initial application of the Mamba model to this task. Specifically, we customize Residual-Mamba-Blocks, which residually connect the Spatial-Temporal Mamba (STMamba), Edge-Detail-Reconstruction (EDR) module, and Channel Attention (CA) module. Respectively, STMamba is used to model long-range spatial-temporal dependencies with linear complexity, EDR is for better edge-detail reconstruction, and CA is used to compensate for the missing channel information interaction in Mamba model. Experiments demonstrate that MambaSCI surpasses state-of-the-art methods with lower computational and memory costs. PyTorch style pseudo-code for the core modules is provided in the supplementary materials.