A Differentiable Wave Optics Model for End-to-End Computational Imaging System Optimization
作者: Chi-Jui Ho, Yash Belhe, Steve Rotenberg, Ravi Ramamoorthi, Tzu-Mao Li, Nicholas Antipa
分类: cs.CV
发布日期: 2024-12-13 (更新: 2025-08-06)
💡 一句话要点
提出可微波光学模型，用于端到端计算成像系统优化
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 计算成像 端到端优化 可微光学 波动光学 像差 衍射 光线传播 深度学习
📋 核心要点
- 现有端到端计算成像优化方法难以兼顾计算成本和物理精度，通常忽略波动光学效应或离轴像差。
- 论文提出一种可微光学模拟器，能够高效地对复合光学器件的像差和衍射进行建模，实现更精确的端到端优化。
- 实验表明，考虑波动光学效应的优化能显著提升系统在实际应用中的性能，避免性能下降。
📝 摘要（中文）
端到端优化是一种强大的数据驱动方法，可同时优化光学器件和算法，用于计算成像系统设计。该方法通过反向传播实现联合优化，其中包含可微光学模拟器以生成测量数据，并包含算法以从测量数据中提取信息。然而，由于计算成本高昂，对复合光学器件的端到端优化中同时对像差和衍射进行建模具有挑战性。因此，大多数现有方法通过忽略波动光学效应或离轴像差来牺牲物理精度，这引起了对最终设计鲁棒性的担忧。在本文中，我们提出了一种可微光学模拟器，可以有效地对复合光学器件的像差和衍射进行建模。使用该模拟器，我们对场景重建和分类进行端到端优化。实验结果表明，镜头和算法采用不同的配置，具体取决于是否对波动光学进行建模。我们还表明，在测试期间引入波动光学效应时，未经波动光学优化的系统会遭受性能下降。这些发现强调了在优化成像系统以实现稳健、高性能应用时，准确的波动光学建模的重要性。
🔬 方法详解
问题定义：现有端到端计算成像系统优化方法，在对光学器件进行建模时，为了降低计算复杂度，通常会忽略波动光学效应（如衍射）或离轴像差。这导致优化后的系统在实际应用中，由于真实光线传播的复杂性，性能会显著下降。因此，需要一种既能高效计算，又能准确模拟光线传播的模型，用于端到端优化。
核心思路：论文的核心思路是构建一个可微的波动光学模型，该模型能够高效地模拟光线在复杂光学系统中的传播，包括像差和衍射等效应。通过将该模型嵌入到端到端优化框架中，可以同时优化光学器件和图像处理算法，从而得到更鲁棒、性能更优的计算成像系统。可微性保证了可以使用梯度下降等方法进行优化。
技术框架：整体框架包含三个主要部分：1) 光学系统建模：使用论文提出的可微波动光学模型模拟光线在透镜组中的传播过程，包括像差和衍射的计算。2) 图像传感器建模：模拟传感器接收光信号并转换为数字图像的过程，包括量化、噪声等效应。3) 图像处理算法：使用深度学习网络对传感器采集的图像进行处理，例如场景重建或图像分类。整个框架通过端到端的方式进行训练，即同时优化光学器件的参数和图像处理算法的参数。
关键创新：论文的关键创新在于提出了一个高效且可微的波动光学模型。该模型能够在保证计算效率的同时，准确地模拟光线在复杂光学系统中的传播，包括像差和衍射等效应。与现有方法相比，该模型能够更真实地反映光线传播的物理过程，从而提高优化后系统的鲁棒性和性能。可微性使得该模型可以方便地嵌入到端到端优化框架中。
关键设计：在光学系统建模方面，论文可能采用了角谱传播（Angular Spectrum Method）或瑞利-索末菲衍射公式（Rayleigh-Sommerfeld Diffraction Formula）等方法来计算衍射。为了提高计算效率，可能使用了快速傅里叶变换（FFT）等技术。在损失函数方面，可能采用了重建误差（如均方误差MSE）或分类损失（如交叉熵损失）等。具体的网络结构取决于具体的应用场景，例如，对于场景重建，可以使用U-Net等网络；对于图像分类，可以使用ResNet等网络。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在场景重建和图像分类任务中，使用可微波动光学模型进行端到端优化，可以显著提高系统的性能。与忽略波动光学效应的优化方法相比，该方法能够获得更清晰、更准确的重建结果，以及更高的分类准确率。此外，实验还表明，未经波动光学优化的系统在实际应用中会遭受性能下降，验证了波动光学建模的重要性。
🎯 应用场景
该研究成果可应用于各种计算成像系统，如显微镜、望远镜、相机等。通过端到端优化，可以设计出更小巧、更轻便、性能更优的成像系统，从而提高图像质量、分辨率和信噪比。该技术在生物医学成像、遥感、安防监控等领域具有广泛的应用前景。
📄 摘要（原文）
End-to-end optimization, which simultaneously optimizes optics and algorithms, has emerged as a powerful data-driven method for computational imaging system design. This method achieves joint optimization through backpropagation by incorporating differentiable optics simulators to generate measurements and algorithms to extract information from measurements. However, due to high computational costs, it is challenging to model both aberration and diffraction in light transport for end-to-end optimization of compound optics. Therefore, most existing methods compromise physical accuracy by neglecting wave optics effects or off-axis aberrations, which raises concerns about the robustness of the resulting designs. In this paper, we propose a differentiable optics simulator that efficiently models both aberration and diffraction for compound optics. Using the simulator, we conduct end-to-end optimization on scene reconstruction and classification. Experimental results demonstrate that both lenses and algorithms adopt different configurations depending on whether wave optics is modeled. We also show that systems optimized without wave optics suffer from performance degradation when wave optics effects are introduced during testing. These findings underscore the importance of accurate wave optics modeling in optimizing imaging systems for robust, high-performance applications.