Highly Constrained Coded Aperture Imaging Systems Design Via a Knowledge Distillation Approach

📄 arXiv: 2406.17970v1 📥 PDF

作者: Leon Suarez-Rodriguez, Roman Jacome, Henry Arguello

分类: cs.CV, eess.IV

发布日期: 2024-06-25

备注: 7 pages, 3 figures. Accepted at ICIP 2024

💡 一句话要点

提出基于知识蒸馏的编码孔径成像系统设计方法，解决物理约束下的性能优化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 计算光学成像 知识蒸馏 编码孔径 单像素相机 物理约束 图像重建 端到端优化

📋 核心要点

  1. 传统端到端COI系统优化受限于物理约束，难以在快照数量有限等条件下实现高性能。
  2. 利用知识蒸馏，构建教师-学生模型，教师模型指导学生模型在物理约束下进行优化。
  3. 实验表明，该方法在单像素相机图像重建中优于传统端到端优化，尤其是在物理约束较强时。

📝 摘要（中文）

计算光学成像(COI)系统通过光学编码元件(OCE)获取高维信号。OCE将高维信号编码到单张或多张快照中，然后通过计算算法解码。目前，COI系统通过端到端(E2E)方法优化，其中OCE被建模为神经网络的一层，其余层执行特定的成像任务。然而，E2E优化的COI系统性能受到物理约束的限制。本文提出了一种知识蒸馏(KD)框架，用于设计高度物理约束的COI系统。该方法采用KD，利用高性能、无约束的COI系统(教师)指导受物理约束的系统(学生)的优化，该学生系统的特点是快照数量有限。我们使用二元编码孔径单像素相机验证了该方法在单色和多光谱图像重建中的有效性。仿真结果表明，对于设计高度物理约束的COI系统，KD方案优于传统的E2E优化。

🔬 方法详解

问题定义：论文旨在解决计算光学成像(COI)系统中，由于物理约束（例如快照数量有限）导致系统性能下降的问题。传统的端到端(E2E)优化方法在设计COI系统时，将光学编码元件(OCE)作为神经网络的一层进行优化，但这种方法难以克服物理约束带来的性能瓶颈。现有方法无法有效利用有限的物理资源实现高性能成像。

核心思路：论文的核心思路是利用知识蒸馏(KD)框架，通过一个高性能但无物理约束的“教师”模型来指导一个受物理约束的“学生”模型的优化。教师模型提供丰富的先验知识，帮助学生模型在有限的物理条件下学习到更好的编码方式，从而提升成像性能。

技术框架：整体框架包含两个主要部分：教师模型和学生模型。教师模型是一个性能优越但不受物理约束的COI系统，例如可以使用更多的快照或更复杂的编码方式。学生模型是一个受物理约束的COI系统，例如快照数量有限。通过知识蒸馏，教师模型的输出作为学生模型的学习目标，引导学生模型优化其光学编码元件(OCE)。整个流程包括：1. 训练一个高性能的教师模型；2. 使用教师模型的输出作为目标，训练受物理约束的学生模型；3. 评估学生模型的性能。

关键创新：该方法最重要的创新点在于将知识蒸馏引入到COI系统的设计中，利用无约束教师模型的知识来指导受约束学生模型的优化。与传统的E2E优化相比，该方法能够更好地利用有限的物理资源，实现更高的成像性能。本质区别在于，E2E优化直接在受约束的条件下进行，而KD方法则通过教师模型的引导，间接地在受约束的条件下学习。

关键设计：关键设计包括：1. 教师模型的选择：选择一个性能足够好，能够提供有效知识的教师模型。2. 学生模型的物理约束：根据实际应用场景设置学生模型的物理约束，例如快照数量。3. 损失函数的设计：使用合适的损失函数来衡量学生模型和教师模型输出之间的差异，例如均方误差(MSE)或感知损失。4. 网络结构：教师模型和学生模型可以使用不同的网络结构，但学生模型的结构需要能够反映其物理约束。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于知识蒸馏的COI系统设计方法在单像素相机图像重建任务中优于传统的端到端优化方法。在快照数量有限的情况下，KD方法能够显著提升图像重建质量，例如在某些实验设置下，重建图像的PSNR值提升了2-3dB。这表明KD方法能够更有效地利用有限的物理资源，实现更高的成像性能。

🎯 应用场景

该研究成果可应用于各种计算光学成像系统，尤其是在资源受限的场景下，例如移动设备成像、遥感成像、医学成像等。通过知识蒸馏，可以在有限的硬件资源下实现高性能的图像采集和重建，降低系统成本，提高应用范围。未来，该方法可以进一步扩展到其他类型的COI系统和物理约束条件。

📄 摘要（原文）

Computational optical imaging (COI) systems have enabled the acquisition of high-dimensional signals through optical coding elements (OCEs). OCEs encode the high-dimensional signal in one or more snapshots, which are subsequently decoded using computational algorithms. Currently, COI systems are optimized through an end-to-end (E2E) approach, where the OCEs are modeled as a layer of a neural network and the remaining layers perform a specific imaging task. However, the performance of COI systems optimized through E2E is limited by the physical constraints imposed by these systems. This paper proposes a knowledge distillation (KD) framework for the design of highly physically constrained COI systems. This approach employs the KD methodology, which consists of a teacher-student relationship, where a high-performance, unconstrained COI system (the teacher), guides the optimization of a physically constrained system (the student) characterized by a limited number of snapshots. We validate the proposed approach, using a binary coded apertures single pixel camera for monochromatic and multispectral image reconstruction. Simulation results demonstrate the superiority of the KD scheme over traditional E2E optimization for the designing of highly physically constrained COI systems.