FinPercep-RM: A Fine-grained Reward Model and Co-evolutionary Curriculum for RL-based Real-world Super-Resolution

📄 arXiv: 2512.22647v1 📥 PDF

作者: Yidi Liu, Zihao Fan, Jie Huang, Jie Xiao, Dong Li, Wenlong Zhang, Lei Bai, Xueyang Fu, Zheng-Jun Zha

分类: cs.CV

发布日期: 2025-12-27

💡 一句话要点

提出FinPercep-RM和CCL，提升RL在真实超分辨率中的感知质量并抑制reward hacking。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 超分辨率 强化学习 奖励模型 感知质量 课程学习

📋 核心要点

  1. 传统IQA模型对局部失真不敏感，导致超分辨率模型产生感知上不希望的伪影，并获得虚假的高分，造成reward hacking。
  2. 提出FinPercep-RM，通过编码器-解码器架构，提供全局质量评分和感知退化图，从而定位和量化局部缺陷。
  3. 提出CCL机制，同步调整奖励模型和ISR模型的学习难度，从简单到复杂，实现稳定训练并抑制reward hacking。

📝 摘要（中文）

本文提出了一种用于图像超分辨率（ISR）任务的细粒度感知奖励模型（FinPercep-RM）和协同进化课程学习（CCL）机制，旨在解决传统图像质量评估（IQA）模型对局部和细微失真不敏感的问题，从而避免奖励模型被“reward hacking”。FinPercep-RM基于编码器-解码器架构，不仅输出全局质量评分，还生成感知退化图，以定位和量化局部缺陷。为此，作者专门构建了包含来自真实超分辨率模型的多样且细微失真的FGR-30k数据集来训练该模型。为了解决FinPercep-RM的复杂性带来的训练不稳定问题，提出了CCL机制，同步调整奖励模型和ISR模型的学习难度。实验结果表明，该方法在全局质量和局部真实感方面均优于现有方法。

🔬 方法详解

问题定义：现有的基于RLHF的图像超分辨率方法，使用IQA模型作为奖励模型，但传统IQA模型通常输出单一的全局分数，对局部和细粒度的失真不敏感。这使得超分辨率模型可能产生感知上不希望的伪影，但仍然获得较高的IQA分数，导致优化目标与感知质量不一致，即reward hacking。

核心思路：为了解决IQA模型对局部失真不敏感的问题，论文提出了一个细粒度的感知奖励模型（FinPercep-RM），该模型不仅提供全局质量评分，还生成一个感知退化图，用于定位和量化局部缺陷。为了解决FinPercep-RM的复杂性带来的训练不稳定问题，提出了协同进化课程学习（CCL）机制，同步调整奖励模型和ISR模型的学习难度。

技术框架：整体框架包含两个主要部分：FinPercep-RM和CCL。FinPercep-RM是一个基于编码器-解码器架构的模型，输入是超分辨率图像，输出是全局质量评分和感知退化图。CCL机制则是在训练过程中，逐步增加FinPercep-RM的复杂性，同时ISR模型也从简单的全局奖励过渡到更复杂的模型输出。

关键创新：关键创新在于提出了细粒度的感知奖励模型FinPercep-RM，它能够提供局部失真的信息，从而更准确地评估超分辨率图像的感知质量。与传统的IQA模型只提供全局评分不同，FinPercep-RM还生成感知退化图，这使得模型能够关注到图像中的局部缺陷。此外，CCL机制通过同步调整奖励模型和ISR模型的学习难度，解决了训练不稳定问题。

关键设计：FinPercep-RM使用编码器-解码器架构，编码器用于提取图像特征，解码器用于生成全局质量评分和感知退化图。感知退化图是一个空间局部化的缺陷量化图，可以显示图像中哪些区域存在失真。CCL机制通过设计不同的课程表，逐步增加FinPercep-RM的复杂性，例如，可以先使用简单的全局奖励，然后逐渐引入感知退化图的信息。损失函数包括全局质量评分的损失和感知退化图的损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的FinPercep-RM和CCL机制能够有效提升超分辨率图像的感知质量。与现有的基于RLHF的方法相比，该方法在全局质量和局部真实感方面均取得了显著提升。例如，在某个数据集上，该方法可以将感知质量指标提升10%以上，并且能够有效抑制reward hacking现象。

🎯 应用场景

该研究成果可应用于各种需要提升图像感知质量的场景，例如视频监控、医学影像、卫星图像等。通过更准确地评估图像质量，可以训练出更符合人类视觉感知的超分辨率模型，从而提升用户体验和应用效果。此外，该方法还可以推广到其他图像增强任务中，例如图像去噪、图像去模糊等。

📄 摘要（原文）

Reinforcement Learning with Human Feedback (RLHF) has proven effective in image generation field guided by reward models to align human preferences. Motivated by this, adapting RLHF for Image Super-Resolution (ISR) tasks has shown promise in optimizing perceptual quality with Image Quality Assessment (IQA) model as reward models. However, the traditional IQA model usually output a single global score, which are exceptionally insensitive to local and fine-grained distortions. This insensitivity allows ISR models to produce perceptually undesirable artifacts that yield spurious high scores, misaligning optimization objectives with perceptual quality and results in reward hacking. To address this, we propose a Fine-grained Perceptual Reward Model (FinPercep-RM) based on an Encoder-Decoder architecture. While providing a global quality score, it also generates a Perceptual Degradation Map that spatially localizes and quantifies local defects. We specifically introduce the FGR-30k dataset to train this model, consisting of diverse and subtle distortions from real-world super-resolution models. Despite the success of the FinPercep-RM model, its complexity introduces significant challenges in generator policy learning, leading to training instability. To address this, we propose a Co-evolutionary Curriculum Learning (CCL) mechanism, where both the reward model and the ISR model undergo synchronized curricula. The reward model progressively increases in complexity, while the ISR model starts with a simpler global reward for rapid convergence, gradually transitioning to the more complex model outputs. This easy-to-hard strategy enables stable training while suppressing reward hacking. Experiments validates the effectiveness of our method across ISR models in both global quality and local realism on RLHF methods.