Guided Depth Map Super-Resolution via Multi-Scale Fusion U-shaped Mamba Network

📄 arXiv: 2508.00248v1 📥 PDF

作者: Chenggang Guo, Hao Xu, XianMing Wan

分类: cs.CV

发布日期: 2025-08-01

💡 一句话要点

提出MSF-UM模型，利用多尺度融合U型Mamba网络实现引导深度图超分辨率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度图超分辨率 Mamba模型 状态空间模型 U型网络 多尺度融合 跨模态融合 彩色图像引导

📋 核心要点

  1. 传统卷积神经网络在处理长距离依赖方面存在局限性，无法充分建模深度图中的全局上下文信息。
  2. 本文提出MSF-UM模型，将Mamba状态空间建模能力融入多尺度U型融合结构，并由彩色图像引导，实现高效深度图超分辨率。
  3. 实验表明，MSF-UM模型在减少参数量的同时，提升了重建精度，并在大规模深度图超分辨率任务中展现出优秀的泛化能力。

📝 摘要（中文）

本文提出了一种新颖的引导深度图超分辨率框架，即多尺度融合U型Mamba（MSF-UM）模型。该模型的核心创新在于将Mamba的高效状态空间建模能力集成到由彩色图像引导的多尺度U型融合结构中。模型设计了一种结合残差密集通道注意力块和Mamba状态空间模块的结构，将卷积层的局部特征提取能力与状态空间模型对长距离依赖关系的建模优势相结合。同时，该模型采用多尺度跨模态融合策略，充分利用彩色图像中的高频纹理信息来指导深度图的超分辨率过程。与现有主流方法相比，所提出的MSF-UM在显著减少模型参数数量的同时，实现了更好的重建精度。在多个公开数据集上的大量实验验证了该模型的有效性，尤其是在大规模深度图超分辨率任务中表现出优异的泛化能力。

🔬 方法详解

问题定义：深度图超分辨率旨在提高低分辨率深度图的空间分辨率，并有效恢复高频细节信息。现有方法，特别是基于卷积神经网络的方法，在建模长距离依赖关系和全局上下文信息方面存在不足。Transformer虽然可以建模全局依赖，但其计算复杂度和内存消耗呈二次方增长，限制了其处理高分辨率深度图的能力。

核心思路：本文的核心思路是将Mamba状态空间模型的优势与U型网络结构相结合，并利用彩色图像作为引导信息，实现高效且精确的深度图超分辨率。Mamba模型擅长处理序列数据中的长距离依赖关系，而U型网络结构则有利于多尺度特征的融合。彩色图像则提供额外的高频纹理信息，辅助深度图的重建。

技术框架：MSF-UM模型采用U型网络结构，包含编码器、解码器和跳跃连接。编码器部分逐层提取深度图的特征，并降低分辨率。解码器部分则逐层恢复深度图的分辨率，并融合来自编码器的跳跃连接特征。在编码器和解码器的每个阶段，都使用了结合残差密集通道注意力块和Mamba状态空间模块的结构。彩色图像通过跨模态融合策略，在多个尺度上与深度图特征进行融合。

关键创新：最重要的技术创新点在于将Mamba状态空间模型引入深度图超分辨率任务，并将其与U型网络结构和跨模态融合策略相结合。与传统的卷积神经网络相比，Mamba模型能够更有效地建模长距离依赖关系。与Transformer相比，Mamba模型的计算复杂度更低，更适合处理高分辨率图像。

关键设计：模型采用了残差密集通道注意力块来增强局部特征提取能力。Mamba状态空间模块的具体参数设置（例如状态向量的维度）需要根据数据集进行调整。跨模态融合策略的具体实现方式（例如使用注意力机制）也会影响最终的性能。损失函数通常采用L1损失或L2损失，也可以结合感知损失来提高重建质量。

📊 实验亮点

实验结果表明，MSF-UM模型在多个公开数据集上取得了优于现有主流方法的性能。具体来说，MSF-UM模型在重建精度（PSNR和SSIM指标）方面显著提升，同时显著减少了模型参数数量。尤其是在大规模深度图超分辨率任务中，MSF-UM模型展现出优秀的泛化能力，表明其能够有效地处理复杂场景。

🎯 应用场景

该研究成果可应用于机器人导航、自动驾驶、三维重建、虚拟现实等领域。在机器人导航中，高分辨率深度图可以帮助机器人更准确地感知周围环境。在自动驾驶中，高分辨率深度图可以提高车辆对障碍物的检测能力。在三维重建中，高分辨率深度图可以生成更精细的三维模型。在虚拟现实中，高分辨率深度图可以提供更逼真的沉浸式体验。

📄 摘要（原文）

Depth map super-resolution technology aims to improve the spatial resolution of low-resolution depth maps and effectively restore high-frequency detail information. Traditional convolutional neural network has limitations in dealing with long-range dependencies and are unable to fully model the global contextual information in depth maps. Although transformer can model global dependencies, its computational complexity and memory consumption are quadratic, which significantly limits its ability to process high-resolution depth maps. In this paper, we propose a multi-scale fusion U-shaped Mamba (MSF-UM) model, a novel guided depth map super-resolution framework. The core innovation of this model is to integrate Mamba's efficient state-space modeling capabilities into a multi-scale U-shaped fusion structure guided by a color image. The structure combining the residual dense channel attention block and the Mamba state space module is designed, which combines the local feature extraction capability of the convolutional layer with the modeling advantage of the state space model for long-distance dependencies. At the same time, the model adopts a multi-scale cross-modal fusion strategy to make full use of the high-frequency texture information from the color image to guide the super-resolution process of the depth map. Compared with existing mainstream methods, the proposed MSF-UM significantly reduces the number of model parameters while achieving better reconstruction accuracy. Extensive experiments on multiple publicly available datasets validate the effectiveness of the model, especially showing excellent generalization ability in the task of large-scale depth map super-resolution.