Practical Compact Deep Compressed Sensing
作者: Bin Chen, Jian Zhang
分类: cs.CV, eess.IV
发布日期: 2024-11-20
备注: Accepted by IEEE T-PAMI
🔗 代码/项目: GITHUB
💡 一句话要点
提出PCNet，一种实用紧凑的深度压缩感知网络，提升图像重建质量。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 压缩感知 深度学习 图像重建 采样算子 近端梯度下降
📋 核心要点
- 现有深度压缩感知方法在采样成本和重建质量上存在挑战，尤其是在高分辨率图像上。
- PCNet通过协同采样算子和增强的近端梯度下降算法展开网络，实现高效的图像压缩和高质量重建。
- 实验表明，PCNet在自然图像、量化和自监督压缩感知任务中，重建精度和泛化能力优于现有方法。
📝 摘要（中文）
本文提出了一种新的实用且紧凑的网络PCNet，用于通用图像压缩感知（CS）。PCNet设计了一种新颖的协同采样算子，该算子包含一个深度条件滤波步骤和一个双分支快速采样步骤。前者学习线性变换矩阵的隐式表示，通过少量卷积对输入图像进行自适应局部滤波；后者使用离散余弦变换和加扰的分块对角高斯矩阵生成欠采样测量值。PCNet配备了增强的近端梯度下降算法展开网络用于重建，在训练后，可为任意采样率提供灵活性、可解释性和强大的恢复性能。此外，我们还为单像素CS成像系统提供了一种面向部署的提取方案，可以将任何线性采样算子方便地转换为矩阵形式，并加载到数字微镜设备等硬件上。对自然图像CS、量化CS和自监督CS的大量实验表明，与现有的最先进方法相比，PCNet具有卓越的重建精度和泛化能力，尤其是在高分辨率图像方面。
🔬 方法详解
问题定义：压缩感知旨在以远低于奈奎斯特采样率的采样点恢复原始信号。现有的深度学习方法在压缩感知中取得了显著进展，但仍然面临着计算复杂度高、模型体积大、泛化能力不足等问题，尤其是在处理高分辨率图像时，性能会显著下降。
核心思路：PCNet的核心思路是设计一个紧凑且高效的采样算子，该算子能够学习到图像的有效表示，并利用这些表示进行高质量的重建。通过深度条件滤波和双分支快速采样，PCNet能够在保证采样效率的同时，提取到图像的关键信息。同时，使用增强的近端梯度下降算法展开网络，提高重建质量。
技术框架：PCNet主要包含两个阶段：采样阶段和重建阶段。在采样阶段，首先使用深度条件滤波模块对输入图像进行自适应局部滤波，然后通过双分支快速采样模块生成欠采样测量值。双分支包括离散余弦变换（DCT）分支和加扰的分块对角高斯矩阵分支。在重建阶段，使用增强的近端梯度下降算法展开网络，逐步迭代优化重建图像。
关键创新：PCNet的关键创新在于协同采样算子的设计。深度条件滤波模块通过学习线性变换矩阵的隐式表示，实现了自适应的局部滤波，能够更好地提取图像的结构信息。双分支快速采样模块结合了DCT和高斯矩阵的优点，提高了采样效率和重建质量。此外，面向部署的提取方案使得PCNet能够方便地应用于单像素CS成像系统。
关键设计：深度条件滤波模块使用少量卷积层来学习线性变换矩阵的隐式表示，降低了计算复杂度。双分支快速采样模块中，DCT分支用于提取图像的低频信息，高斯矩阵分支用于提取图像的高频信息。增强的近端梯度下降算法展开网络通过引入可学习的参数，提高了重建的灵活性和性能。损失函数通常包括重建误差（如L1或L2损失）和正则化项，以保证重建图像的质量。
🖼️ 关键图片
📊 实验亮点
实验结果表明，PCNet在自然图像压缩感知、量化压缩感知和自监督压缩感知任务中，均取得了优于现有最先进方法的性能。尤其是在高分辨率图像上，PCNet的重建精度提升显著。例如，在某项实验中，PCNet的PSNR指标比现有方法提高了0.5-1dB，证明了其优越的性能和泛化能力。
🎯 应用场景
PCNet在图像压缩、医学成像、遥感成像等领域具有广泛的应用前景。它可以降低数据采集成本，提高成像速度，并改善图像质量。特别是在资源受限的场景下，如移动设备或嵌入式系统，PCNet的紧凑性和高效性使其成为理想的选择。未来，该研究有望推动压缩感知技术在更多实际应用中的落地。
📄 摘要（原文）
Recent years have witnessed the success of deep networks in compressed sensing (CS), which allows for a significant reduction in sampling cost and has gained growing attention since its inception. In this paper, we propose a new practical and compact network dubbed PCNet for general image CS. Specifically, in PCNet, a novel collaborative sampling operator is designed, which consists of a deep conditional filtering step and a dual-branch fast sampling step. The former learns an implicit representation of a linear transformation matrix into a few convolutions and first performs adaptive local filtering on the input image, while the latter then uses a discrete cosine transform and a scrambled block-diagonal Gaussian matrix to generate under-sampled measurements. Our PCNet is equipped with an enhanced proximal gradient descent algorithm-unrolled network for reconstruction. It offers flexibility, interpretability, and strong recovery performance for arbitrary sampling rates once trained. Additionally, we provide a deployment-oriented extraction scheme for single-pixel CS imaging systems, which allows for the convenient conversion of any linear sampling operator to its matrix form to be loaded onto hardware like digital micro-mirror devices. Extensive experiments on natural image CS, quantized CS, and self-supervised CS demonstrate the superior reconstruction accuracy and generalization ability of PCNet compared to existing state-of-the-art methods, particularly for high-resolution images. Code is available at https://github.com/Guaishou74851/PCNet.