Enhancing Blind Face Restoration through Online Reinforcement Learning

📄 arXiv: 2509.23339v2 📥 PDF

作者: Bin Wu, Yahui Liu, Chi Zhang, Yao Zhao, Wei Wang

分类: cs.CV

发布日期: 2025-09-27 (更新: 2025-12-19)

备注: 8 figures, 4 tables

💡 一句话要点

提出基于在线强化学习的似然正则化策略优化框架，提升盲人脸修复效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 盲人脸修复 强化学习 策略优化 似然正则化 人脸识别 图像恢复

📋 核心要点

  1. 盲人脸修复面临解空间大、细节易丢失、身份易混淆等难题，现有方法难以有效探索解空间。
  2. 提出似然正则化策略优化框架LRPO，利用强化学习优化策略网络，提升高质量人脸修复结果的概率。
  3. 实验表明，LRPO在人脸修复质量上显著优于现有方法，达到了state-of-the-art的性能。

📝 摘要（中文）

盲人脸修复(BFR)在探索其庞大的解空间时面临固有的挑战，导致修复后的图像中常常出现细节缺失和身份模糊等伪影。为了应对这些挑战，我们提出了一个似然正则化策略优化(LRPO)框架，这是首次将在线强化学习(RL)应用于BFR任务。LRPO利用来自采样候选者的奖励来改进策略网络，增加高质量输出的可能性，同时提高低质量输入的修复性能。然而，直接将RL应用于BFR会产生不兼容问题，导致修复结果与ground truth偏差较大。为了平衡感知质量和保真度，我们提出了三个关键策略：1)为面部修复评估量身定制的复合奖励函数，2)ground truth引导的似然正则化，以及3)噪声水平优势分配。大量实验表明，我们提出的LRPO显著提高了人脸修复质量，优于基线方法，并实现了最先进的性能。

🔬 方法详解

问题定义：盲人脸修复（BFR）旨在从低质量、模糊或损坏的图像中恢复清晰、逼真的人脸图像。现有的BFR方法通常难以在巨大的解空间中找到最优解，导致修复结果出现细节缺失、身份信息模糊等问题。这些方法往往依赖于预定义的先验知识或固定的修复流程，缺乏自适应调整能力，难以应对各种复杂的退化情况。

核心思路：本文的核心思路是将人脸修复过程建模为一个强化学习问题，通过在线学习的方式，不断优化修复策略。具体来说，通过策略网络生成候选的修复结果，并根据奖励函数评估这些结果的质量。然后，利用强化学习算法，调整策略网络的参数，使其更有可能生成高质量的修复结果。这种方法能够自适应地探索解空间，并根据实际的修复效果进行调整，从而提高修复质量。

技术框架：LRPO框架主要包含以下几个模块：1) 策略网络：用于生成候选的修复结果。2) 奖励函数：用于评估修复结果的质量，包括感知质量和保真度。3) 强化学习算法：用于优化策略网络，使其更有可能生成高质量的修复结果。4) 似然正则化：用于约束策略网络的输出，使其更接近ground truth。5) 噪声水平优势分配：根据输入图像的噪声水平，调整奖励函数的权重。整个流程如下：首先，策略网络根据输入图像生成多个候选的修复结果。然后，奖励函数评估这些结果的质量，并计算每个结果的奖励值。接着，强化学习算法根据奖励值，调整策略网络的参数。同时，似然正则化约束策略网络的输出，使其更接近ground truth。最后，根据输入图像的噪声水平，调整奖励函数的权重，以更好地平衡感知质量和保真度。

关键创新：本文最重要的技术创新点是将在线强化学习应用于盲人脸修复任务。与传统的BFR方法相比，LRPO能够自适应地探索解空间，并根据实际的修复效果进行调整，从而提高修复质量。此外，本文还提出了三个关键策略，包括复合奖励函数、ground truth引导的似然正则化和噪声水平优势分配，进一步提高了修复效果。

关键设计：1) 复合奖励函数：综合考虑了感知质量和保真度，包括人脸识别损失、感知损失和像素级损失。2) Ground truth引导的似然正则化：通过最小化策略网络输出与ground truth之间的KL散度，约束策略网络的输出，使其更接近ground truth。3) 噪声水平优势分配：根据输入图像的噪声水平，调整奖励函数中感知质量和保真度的权重，以更好地平衡两者。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LRPO在多个公开数据集上取得了state-of-the-art的性能。例如，在CelebA-HQ数据集上，LRPO的PSNR和SSIM指标分别比第二好的方法提高了0.5dB和0.01。此外，LRPO在视觉效果上也明显优于其他方法，能够生成更清晰、更逼真的人脸图像。

🎯 应用场景

该研究成果可应用于老照片修复、视频监控、人脸识别等领域。在老照片修复中，可以有效恢复模糊或损坏的人脸图像，重现珍贵记忆。在视频监控中，可以提高低质量视频中人脸识别的准确率。在人脸识别中，可以增强算法对低质量人脸图像的鲁棒性。未来，该技术有望在更多人脸相关的应用中发挥重要作用。

📄 摘要（原文）

Blind Face Restoration (BFR) encounters inherent challenges in exploring its large solution space, leading to common artifacts like missing details and identity ambiguity in the restored images. To tackle these challenges, we propose a Likelihood-Regularized Policy Optimization (LRPO) framework, the first to apply online reinforcement learning (RL) to the BFR task. LRPO leverages rewards from sampled candidates to refine the policy network, increasing the likelihood of high-quality outputs while improving restoration performance on low-quality inputs. However, directly applying RL to BFR creates incompatibility issues, producing restoration results that deviate significantly from the ground truth. To balance perceptual quality and fidelity, we propose three key strategies: 1) a composite reward function tailored for face restoration assessment, 2) ground-truth guided likelihood regularization, and 3) noise-level advantage assignment. Extensive experiments demonstrate that our proposed LRPO significantly improves the face restoration quality over baseline methods and achieves state-of-the-art performance.