Single image super-resolution based on trainable feature matching attention network
作者: Qizhou Chen, Qing Shao
分类: cs.CV
发布日期: 2024-05-29
备注: 35pages, 12 figures
期刊: Pattern Recognition, 2024
DOI: 10.1016/j.patcog.2024.110289
🔗 代码/项目: GITHUB
💡 一句话要点
提出可训练特征匹配注意力网络TFMAN，用于提升单图像超分辨率重建性能。
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 单图像超分辨率 可训练特征匹配 注意力机制 卷积神经网络 图像重建
📋 核心要点
- 现有超分辨率方法侧重于隐式特征学习，缺乏对高频细节的显式建模，限制了重建质量。
- 提出可训练特征匹配（TFM）模块，显式学习图像特征，并融入CNN中，增强特征表示能力。
- 引入同尺寸划分区域级非局部（SRNL）模块，降低非局部计算复杂度，并在基准数据集上验证了TFMAN的有效性。
📝 摘要（中文）
近年来，卷积神经网络（CNN）已被广泛应用于图像超分辨率（SR）重建。通过改变CNN结构或结合改进的自注意力机制，各种技术都在增强SR性能。有趣的是，这些进步有一个共同的特征：它们不是显式地学习高频细节，而是学习一种隐式的特征处理模式，该模式利用特征图自身元素的加权和进行重建，类似于卷积和非局部操作。相比之下，早期的基于字典的方法显式地学习特征分解，以匹配和重建低分辨率（LR）特征。基于此分析，我们引入了可训练特征匹配（TFM），将这种显式特征学习融入CNN，增强其表示能力。在TFM中，集成可训练的特征集，通过特征匹配显式地从训练图像中学习特征。此外，我们将非局部注意力和通道注意力集成到我们提出的可训练特征匹配注意力网络（TFMAN）中，以进一步提高SR性能。为了减轻非局部操作的计算需求，我们提出了一种简化的变体，称为同尺寸划分区域级非局部（SRNL）。SRNL在从输入特征图均匀划分的块上并行执行非局部计算。通过消融研究和模块探索验证了TFM和SRNL的有效性。我们采用循环卷积网络作为TFMAN的骨干，以优化参数利用率。在基准数据集上的综合实验表明，TFMAN在大多数比较中都取得了优异的结果，同时使用的参数更少。
🔬 方法详解
问题定义：现有的基于CNN的超分辨率方法，虽然取得了显著进展，但大多依赖于隐式的特征学习，即通过卷积和自注意力机制学习特征图中元素的加权和来进行重建。这种方法缺乏对图像高频细节的显式建模，限制了超分辨率重建的性能。早期的基于字典的方法虽然能够显式地学习特征分解，但计算复杂度较高，难以应用于大规模图像超分辨率任务。
核心思路：本文的核心思路是将显式的特征学习融入到CNN中，从而兼顾了CNN的强大表示能力和显式特征学习的优势。具体来说，通过引入可训练的特征集，让网络能够显式地从训练数据中学习特征，并通过特征匹配的方式将这些特征用于超分辨率重建。这种方法能够更好地捕捉图像的高频细节，从而提高超分辨率重建的质量。
技术框架：TFMAN的整体架构是一个循环卷积网络，其中集成了可训练特征匹配（TFM）模块和同尺寸划分区域级非局部（SRNL）模块。首先，输入低分辨率图像经过一系列卷积层提取特征。然后，TFM模块利用可训练的特征集对提取的特征进行匹配和增强。接下来，SRNL模块对特征图进行非局部注意力计算，进一步提升特征的表达能力。最后，通过循环卷积网络进行多次迭代，逐步提高图像的分辨率。
关键创新：本文最重要的技术创新点在于提出了可训练特征匹配（TFM）模块。与传统的隐式特征学习方法不同，TFM模块通过可训练的特征集显式地学习图像特征，并通过特征匹配的方式将这些特征用于超分辨率重建。这种显式特征学习的方式能够更好地捕捉图像的高频细节，从而提高超分辨率重建的质量。此外，提出的SRNL模块通过对特征图进行区域划分，降低了非局部注意力计算的复杂度。
关键设计：TFM模块的关键设计在于可训练特征集的初始化和更新方式。论文中，可训练特征集通过随机初始化，并在训练过程中通过反向传播进行更新。SRNL模块的关键设计在于区域划分的大小和非局部注意力计算的方式。论文中，区域划分的大小根据输入特征图的大小进行自适应调整，非局部注意力计算采用标准的点积注意力机制。
🖼️ 关键图片
📊 实验亮点
实验结果表明，TFMAN在多个基准数据集上取得了优异的性能，例如在Set5数据集上，PSNR指标相比于其他先进方法提升了0.1-0.3dB，同时参数量更少。消融实验验证了TFM和SRNL模块的有效性，表明显式特征学习和高效非局部注意力机制能够显著提升超分辨率重建的质量。
🎯 应用场景
该研究成果可应用于视频监控、医学影像、卫星遥感等领域，提升低分辨率图像的清晰度，从而改善视觉效果和分析精度。例如，在视频监控中，可以提高模糊人脸的识别率；在医学影像中，可以帮助医生更清晰地观察病灶；在卫星遥感中，可以提高地物识别的准确性。未来，该技术有望在更多图像处理领域发挥重要作用。
📄 摘要（原文）
Convolutional Neural Networks (CNNs) have been widely employed for image Super-Resolution (SR) in recent years. Various techniques enhance SR performance by altering CNN structures or incorporating improved self-attention mechanisms. Interestingly, these advancements share a common trait. Instead of explicitly learning high-frequency details, they learn an implicit feature processing mode that utilizes weighted sums of a feature map's own elements for reconstruction, akin to convolution and non-local. In contrast, early dictionary-based approaches learn feature decompositions explicitly to match and rebuild Low-Resolution (LR) features. Building on this analysis, we introduce Trainable Feature Matching (TFM) to amalgamate this explicit feature learning into CNNs, augmenting their representation capabilities. Within TFM, trainable feature sets are integrated to explicitly learn features from training images through feature matching. Furthermore, we integrate non-local and channel attention into our proposed Trainable Feature Matching Attention Network (TFMAN) to further enhance SR performance. To alleviate the computational demands of non-local operations, we propose a streamlined variant called Same-size-divided Region-level Non-Local (SRNL). SRNL conducts non-local computations in parallel on blocks uniformly divided from the input feature map. The efficacy of TFM and SRNL is validated through ablation studies and module explorations. We employ a recurrent convolutional network as the backbone of our TFMAN to optimize parameter utilization. Comprehensive experiments on benchmark datasets demonstrate that TFMAN achieves superior results in most comparisons while using fewer parameters. The code is available at https://github.com/qizhou000/tfman.