OmniLens++: Blind Lens Aberration Correction via Large LensLib Pre-Training and Latent PSF Representation

📄 arXiv: 2511.17126v3 📥 PDF

作者: Qi Jiang, Xiaolong Qian, Yao Gao, Lei Sun, Kailun Yang, Zhonghua Yi, Wenyong Li, Ming-Hsuan Yang, Luc Van Gool, Kaiwei Wang

分类: eess.IV, cs.CV, cs.LG, physics.optics

发布日期: 2025-11-21 (更新: 2025-11-25)

备注: The source code and datasets will be made publicly available at https://github.com/zju-jiangqi/OmniLens2

🔗 代码/项目: GITHUB

💡 一句话要点

OmniLens++：基于大规模LensLib预训练和潜在PSF表示的盲透镜像差校正

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 盲透镜像差校正 透镜库预训练 点扩散函数 潜在表示学习 VQVAE

📋 核心要点

  1. 现有基于深度学习的透镜库预训练方法在处理多样化的未知光学退化时，泛化能力受限于数据规模和缺乏光学退化先验指导。
  2. OmniLens++通过扩展透镜设计规范和均匀采样策略来提高数据可扩展性，并提出潜在PSF表示（LPR）来利用PSF作为盲校正的先验指导。
  3. 实验表明，OmniLens++在真实透镜和合成LensLib上实现了最先进的盲像差校正泛化能力，并验证了AODLibpro和LPR的有效性。

📝 摘要（中文）

本文提出了OmniLens++框架，旨在解决现有基于深度学习的透镜库预训练（LensLib-PT）管线在盲透镜像差校正中泛化能力不足的问题。该框架通过扩展设计规范以增加透镜源的像差多样性，并量化光学退化的空间变化模式和严重程度，从而实现更均匀的采样，以此提高数据可扩展性。在模型设计方面，为了利用点扩散函数（PSF）作为盲校正的先验指导，提出了潜在PSF表示（LPR）。通过引入VQVAE框架学习LensLib的PSF潜在特征，并结合光学退化过程建模来约束像差先验的学习。在真实透镜和合成LensLib上的实验表明，OmniLens++在盲像差校正方面表现出最先进的泛化能力。此外，AODLibpro被验证为可扩展的基础，能够更有效地训练各种像差，LPR可以进一步挖掘大规模LensLib的潜力。源代码和数据集将在https://github.com/zju-jiangqi/OmniLens2公开。

🔬 方法详解

问题定义：现有基于深度学习的盲透镜像差校正方法，依赖于大规模透镜库预训练。然而，现有方法在数据规模扩展方面存在困难，难以覆盖足够多样的像差类型和程度。此外，现有方法缺乏对光学退化过程的先验知识的有效利用，导致泛化能力受限。

核心思路：OmniLens++的核心思路是通过改进数据生成和模型设计两方面来提升盲透镜像差校正的泛化能力。在数据方面，扩展透镜设计规范，并采用更均匀的采样策略，以增加数据的多样性和代表性。在模型方面，利用点扩散函数（PSF）作为光学退化的直观描述，通过学习PSF的潜在表示来引入先验知识。

技术框架：OmniLens++框架主要包含两个部分：数据生成和模型训练。数据生成部分，首先扩展透镜设计规范，生成更丰富的像差数据。然后，通过量化光学退化的空间变化模式和严重程度，进行均匀采样。模型训练部分，使用VQVAE框架学习LensLib的PSF潜在特征，并结合光学退化过程建模来约束像差先验的学习。最终，利用学习到的潜在PSF表示指导盲像差校正。

关键创新：OmniLens++的关键创新在于提出了潜在PSF表示（LPR），将PSF作为盲像差校正的先验指导。与现有方法直接学习图像到清晰图像的映射不同，LPR通过学习PSF的潜在特征，显式地建模了光学退化过程，从而提高了模型的泛化能力。

关键设计：在数据生成方面，通过增加透镜的曲率半径、厚度、材料等参数的范围，扩展了透镜设计规范。在模型训练方面，使用VQVAE学习PSF的潜在表示，并使用KL散度等损失函数约束潜在空间的分布，使其符合光学退化过程的先验知识。此外，还设计了专门的网络结构来利用学习到的潜在PSF表示指导盲像差校正。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

OmniLens++在多个数据集上取得了显著的性能提升。在真实透镜数据集上，OmniLens++的PSNR和SSIM指标均优于现有方法。在合成LensLib数据集上，OmniLens++也表现出更强的泛化能力。实验结果表明，AODLibpro可以作为更有效的基础，LPR可以进一步挖掘大规模LensLib的潜力。

🎯 应用场景

OmniLens++在计算摄影、图像恢复、医学成像等领域具有广泛的应用前景。它可以用于校正各种光学系统的像差，提高图像质量和清晰度。例如，可以应用于手机相机、显微镜、望远镜等设备，提升成像性能。此外，该研究为盲图像恢复提供了一种新的思路，具有重要的学术价值。

📄 摘要（原文）

Emerging deep-learning-based lens library pre-training (LensLib-PT) pipeline offers a new avenue for blind lens aberration correction by training a universal neural network, demonstrating strong capability in handling diverse unknown optical degradations. This work proposes the OmniLens++ framework, which resolves two challenges that hinder the generalization ability of existing pipelines: the difficulty of scaling data and the absence of prior guidance characterizing optical degradation. To improve data scalability, we expand the design specifications to increase the degradation diversity of the lens source, and we sample a more uniform distribution by quantifying the spatial-variation patterns and severity of optical degradation. In terms of model design, to leverage the Point Spread Functions (PSFs), which intuitively describe optical degradation, as guidance in a blind paradigm, we propose the Latent PSF Representation (LPR). The VQVAE framework is introduced to learn latent features of LensLib's PSFs, which is assisted by modeling the optical degradation process to constrain the learning of degradation priors. Experiments on diverse aberrations of real-world lenses and synthetic LensLib show that OmniLens++ exhibits state-of-the-art generalization capacity in blind aberration correction. Beyond performance, the AODLibpro is verified as a scalable foundation for more effective training across diverse aberrations, and LPR can further tap the potential of large-scale LensLib. The source code and datasets will be made publicly available at https://github.com/zju-jiangqi/OmniLens2.