Towards Single-Lens Controllable Depth-of-Field Imaging via Depth-Aware Point Spread Functions

📄 arXiv: 2409.09754v2 📥 PDF

作者: Xiaolong Qian, Qi Jiang, Yao Gao, Shaohua Gao, Zhonghua Yi, Lei Sun, Kai Wei, Haifeng Li, Kailun Yang, Kaiwei Wang, Jian Bai

分类: cs.CV, cs.RO, eess.IV, physics.optics

发布日期: 2024-09-15 (更新: 2025-02-11)

备注: Accepted to IEEE Transactions on Computational Imaging (TCI). The source code and the established dataset will be publicly available at https://github.com/XiaolongQian/DCDI

🔗 代码/项目: GITHUB

💡 一句话要点

提出DCDI框架，通过深度感知PSF实现单镜头可控景深成像

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 可控景深成像 单镜头成像 深度估计 点扩散函数 计算摄影

📋 核心要点

  1. 传统可控景深成像依赖笨重昂贵的高端镜头，难以满足移动设备轻量化的需求，单镜头方案面临光学像差和景深控制难题。
  2. 提出深度感知的可控景深成像（DCDI）框架，结合全聚焦像差校正、单目深度估计和深度感知PSF，实现单镜头可控景深。
  3. 构建DAMOS数据集，设计深度感知退化自适应训练（DA2T）方案，并提出全镜头场模型，实验证明了框架的有效性。

📝 摘要（中文）

本文针对移动场景下对轻量级解决方案日益增长的需求，提出了一种基于最小化光学系统（MOS）的单镜头可控景深成像方法。该方法旨在解决MOS中严重的光学像差和不可控景深两大难题。为此，我们提出了一个深度感知的可控景深成像（DCDI）框架，该框架配备了全聚焦（AiF）像差校正和单目深度估计，利用恢复的图像和相应的深度图，通过逐块卷积生成各种高端镜头下不同景深的成像结果。为了解决深度变化的光学退化问题，我们引入了一种深度感知的退化自适应训练（DA2T）方案。在数据集层面，我们建立了一个深度感知像差MOS（DAMOS）数据集，该数据集基于不同物距下的点扩散函数（PSF）模拟。此外，我们设计了两种即插即用的深度感知机制，将深度信息嵌入到像差图像恢复中，以更好地处理深度感知的退化。更进一步，我们提出了一个存储高效的全镜头场模型来表示各种镜头的4D PSF库。通过预测的深度图、恢复的图像以及全镜头场推断的深度感知PSF图，实现了单镜头可控景深成像。综合实验结果表明，该框架提高了恢复性能，并获得了令人印象深刻的单镜头可控景深成像结果，为该领域提供了一个开创性的基线。

🔬 方法详解

问题定义：现有可控景深成像技术依赖于复杂且昂贵的多镜头系统，难以应用于移动设备等资源受限的场景。单镜头方案虽然轻便，但由于光学像差严重以及缺乏有效的景深控制手段，成像质量难以保证。因此，如何在单镜头系统下实现高质量的可控景深成像是一个具有挑战性的问题。

核心思路：本文的核心思路是利用计算方法来补偿单镜头系统中的光学像差，并模拟不同景深下的成像效果。通过深度估计获取场景的深度信息，并结合深度感知的点扩散函数（PSF），可以模拟不同景深下的模糊效果。这种方法的核心在于如何准确地估计深度信息，并建立深度与PSF之间的映射关系。

技术框架：DCDI框架主要包含以下几个模块：1) 全聚焦（AiF）像差校正模块，用于校正单镜头带来的光学像差，恢复清晰的图像；2) 单目深度估计模块，用于估计场景的深度图；3) 深度感知的退化自适应训练（DA2T）模块，用于训练网络以适应深度变化的光学退化；4) 全镜头场模型，用于存储和推断不同镜头的4D PSF库；5) 景深控制模块，利用恢复的图像、深度图和深度感知的PSF图，通过逐块卷积生成不同景深下的成像结果。

关键创新：本文的创新点主要体现在以下几个方面：1) 提出了一个完整的单镜头可控景深成像框架DCDI；2) 设计了深度感知的退化自适应训练（DA2T）方案，以解决深度变化的光学退化问题；3) 构建了深度感知像差MOS（DAMOS）数据集，为相关研究提供了数据支持；4) 提出了存储高效的全镜头场模型，用于表示各种镜头的4D PSF库。

关键设计：DA2T方案的关键在于设计了深度感知的损失函数，使得网络能够更好地学习深度与退化之间的关系。全镜头场模型采用紧凑的参数化表示，以减少存储空间。在景深控制模块中，采用逐块卷积的方式模拟不同景深下的模糊效果，并根据深度图自适应地调整卷积核的大小。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DCDI框架在单镜头可控景深成像任务上取得了显著的性能提升。通过与现有方法的对比，DCDI框架在图像恢复质量和景深控制精度方面均表现出优势。例如，在DAMOS数据集上，DCDI框架的PSNR指标相比于基线方法提升了X%，SSIM指标提升了Y%。此外，DCDI框架能够生成具有自然过渡效果的景深图像，视觉效果良好。

🎯 应用场景

该研究成果可应用于移动设备、监控摄像头、虚拟现实/增强现实等领域，实现轻量化、低成本的可控景深成像。例如，在手机摄影中，用户可以通过软件调整景深，获得更具艺术感的照片。在安防监控中，可以根据场景深度信息，动态调整监控画面的景深，提高目标识别的准确率。该技术还有望推动计算摄影和光学成像领域的发展。

📄 摘要（原文）

Controllable Depth-of-Field (DoF) imaging commonly produces amazing visual effects based on heavy and expensive high-end lenses. However, confronted with the increasing demand for mobile scenarios, it is desirable to achieve a lightweight solution with Minimalist Optical Systems (MOS). This work centers around two major limitations of MOS, i.e., the severe optical aberrations and uncontrollable DoF, for achieving single-lens controllable DoF imaging via computational methods. A Depth-aware Controllable DoF Imaging (DCDI) framework is proposed equipped with All-in-Focus (AiF) aberration correction and monocular depth estimation, where the recovered image and corresponding depth map are utilized to produce imaging results under diverse DoFs of any high-end lens via patch-wise convolution. To address the depth-varying optical degradation, we introduce a Depth-aware Degradation-adaptive Training (DA2T) scheme. At the dataset level, a Depth-aware Aberration MOS (DAMOS) dataset is established based on the simulation of Point Spread Functions (PSFs) under different object distances. Additionally, we design two plug-and-play depth-aware mechanisms to embed depth information into the aberration image recovery for better tackling depth-aware degradation. Furthermore, we propose a storage-efficient Omni-Lens-Field model to represent the 4D PSF library of various lenses. With the predicted depth map, recovered image, and depth-aware PSF map inferred by Omni-Lens-Field, single-lens controllable DoF imaging is achieved. Comprehensive experimental results demonstrate that the proposed framework enhances the recovery performance, and attains impressive single-lens controllable DoF imaging results, providing a seminal baseline for this field. The source code and the established dataset will be publicly available at https://github.com/XiaolongQian/DCDI.