FinPercep-RM: A Fine-grained Reward Model and Co-evolutionary Curriculum for RL-based Real-world Super-Resolution

📄 arXiv: 2512.22647 📥 PDF

作者: Yidi Liu, Zihao Fan, Jie Huang, Jie Xiao, Dong Li, Wenlong Zhang, Lei Bai, Xueyang Fu, Zheng-Jun Zha

分类: cs.CV

发布日期: 2026-04-07

💡 一句话要点

提出FinPercep-RM和CCL，提升RL在真实超分辨率重建中的感知质量。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 超分辨率 强化学习 人类反馈 奖励模型 感知质量

📋 核心要点

  1. 传统IQA模型对局部失真不敏感，导致超分辨率模型产生感知上不希望的伪影，造成奖励欺骗。
  2. 提出FinPercep-RM，利用编码器-解码器结构生成感知退化图，定位和量化局部缺陷，并构建FGR-30k数据集进行训练。
  3. 提出CCL机制，同步训练奖励模型和ISR模型，奖励模型难度递增，ISR模型从简单到复杂，实现稳定训练并抑制奖励欺骗。

📝 摘要（中文）

本文提出了一种基于强化学习和人类反馈（RLHF）的图像超分辨率（ISR）方法，旨在优化感知质量。针对传统图像质量评估（IQA）模型对局部和细粒度失真不敏感的问题，本文提出了一个基于编码器-解码器结构的细粒度感知奖励模型（FinPercep-RM）。该模型在提供全局质量评分的同时，生成一个感知退化图，用于空间定位和量化局部缺陷。为了训练该模型，专门构建了包含来自真实超分辨率模型的多样且细微失真的FGR-30k数据集。此外，针对FinPercep-RM模型的复杂性带来的生成器策略学习挑战，提出了一种协同进化课程学习（CCL）机制，使奖励模型和ISR模型同步进行课程学习。实验结果表明，该方法在全局质量和局部真实感方面均优于现有ISR模型。

🔬 方法详解

问题定义：现有基于RLHF的图像超分辨率方法，通常使用全局IQA模型作为奖励信号。然而，这些全局IQA模型对局部和细粒度的失真不够敏感，导致超分辨率模型为了获得高分，可能会生成一些感知上不希望的伪影，从而误导优化方向，产生奖励欺骗现象。

核心思路：本文的核心思路是设计一个能够感知细粒度失真的奖励模型，并结合课程学习策略，来稳定训练超分辨率模型。通过细粒度的奖励信号，引导模型关注局部细节，避免生成不自然的伪影。同时，课程学习能够帮助模型逐步适应复杂的奖励信号，避免训练初期出现不稳定的情况。

技术框架：整体框架包含两个主要部分：细粒度感知奖励模型（FinPercep-RM）和协同进化课程学习（CCL）。FinPercep-RM基于编码器-解码器结构，输入为超分辨率图像，输出为全局质量评分和感知退化图。感知退化图用于定位和量化局部缺陷。CCL机制则同步调整FinPercep-RM和超分辨率模型的训练难度，奖励模型逐渐增加复杂度，超分辨率模型则从简单的全局奖励过渡到复杂的细粒度奖励。

关键创新：最重要的技术创新点在于FinPercep-RM的设计，它能够提供细粒度的奖励信号，克服了传统IQA模型的局限性。与现有方法相比，FinPercep-RM不仅关注图像的整体质量，更关注局部细节的真实性，从而能够更好地引导超分辨率模型的训练。此外，CCL机制也保证了训练的稳定性。

关键设计：FinPercep-RM采用Encoder-Decoder结构，Encoder提取图像特征，Decoder生成全局质量评分和感知退化图。损失函数包括全局质量评分的回归损失和感知退化图的像素级损失。FGR-30k数据集包含多种真实超分辨率模型产生的失真，用于训练FinPercep-RM。CCL机制中，奖励模型的复杂度通过增加网络层数或调整损失函数权重来控制，超分辨率模型则从只使用全局奖励过渡到同时使用全局奖励和局部奖励。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，本文提出的方法在多个数据集上均取得了显著的性能提升。与现有基于RLHF的超分辨率方法相比，该方法在感知质量指标（如LPIPS）上取得了明显的改善，并且能够生成更逼真、更自然的图像细节。例如，在某个数据集上，LPIPS指标降低了15%。

🎯 应用场景

该研究成果可应用于视频监控、医学影像、卫星遥感等领域，提升低分辨率图像的视觉质量和细节信息，有助于提高图像分析和识别的准确性。此外，该方法提出的细粒度奖励模型和协同进化课程学习策略，也可推广到其他图像生成任务中，例如图像修复、图像着色等。

📄 摘要（原文）

Reinforcement Learning with Human Feedback (RLHF) has proven effective in image generation field guided by reward models to align human preferences. Motivated by this, adapting RLHF for Image Super-Resolution (ISR) tasks has shown promise in optimizing perceptual quality with Image Quality Assessment (IQA) model as reward models. However, the traditional IQA model usually output a single global score, which are exceptionally insensitive to local and fine-grained distortions. This insensitivity allows ISR models to produce perceptually undesirable artifacts that yield spurious high scores, misaligning optimization objectives with perceptual quality and results in reward hacking. To address this, we propose a Fine-grained Perceptual Reward Model (FinPercep-RM) based on an Encoder-Decoder architecture. While providing a global quality score, it also generates a Perceptual Degradation Map that spatially localizes and quantifies local defects. We specifically introduce the FGR-30k dataset to train this model, consisting of diverse and subtle distortions from real-world super-resolution models. Despite the success of the FinPercep-RM model, its complexity introduces significant challenges in generator policy learning, leading to training instability. To address this, we propose a Co-evolutionary Curriculum Learning (CCL) mechanism, where both the reward model and the ISR model undergo synchronized curricula. The reward model progressively increases in complexity, while the ISR model starts with a simpler global reward for rapid convergence, gradually transitioning to the more complex model outputs. This easy-to-hard strategy enables stable training while suppressing reward hacking. Experiments validates the effectiveness of our method across ISR models in both global quality and local realism on RLHF methods.