DSPO: Direct Semantic Preference Optimization for Real-World Image Super-Resolution

📄 arXiv: 2504.15176v1 📥 PDF

作者: Miaomiao Cai, Simiao Li, Wei Li, Xudong Huang, Hanting Chen, Jie Hu, Yunhe Wang

分类: cs.CV

发布日期: 2025-04-21

💡 一句话要点

提出DSPO，通过语义偏好优化对齐人类反馈，提升真实场景图像超分辨率效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像超分辨率 人类偏好对齐 直接偏好优化 语义指导 扩散模型 真实场景图像 用户反馈

📋 核心要点

  1. 现有Real-ISR方法缺乏人类反馈整合，导致生成结果与人类偏好不一致，易产生伪影和幻觉。
  2. 提出DSPO，通过语义指导的直接偏好优化，对齐实例级人类偏好，提升生成图像的质量。
  3. DSPO作为即插即用模块，在单步和多步超分辨率框架中均表现出高效的性能提升。

📝 摘要（中文）

扩散模型在真实场景图像超分辨率(Real-ISR)方面取得了进展，但现有方法缺乏人类反馈的整合，可能导致与人类偏好不一致，产生伪影、幻觉和有害内容。本文首次将人类偏好对齐引入Real-ISR，借鉴在大语言模型和文本到图像任务中成功应用的技术。具体而言，引入直接偏好优化(DPO)进行对齐，DPO是一种直接从人类偏好数据集中学习的通用对齐技术。然而，与高层任务不同，Real-ISR的像素级重建目标难以与DPO的图像级偏好相协调，可能导致DPO对局部异常过于敏感，降低生成质量。为了解决这种二分性，本文提出直接语义偏好优化(DSPO)，通过结合语义指导来对齐实例级人类偏好，具体通过两种策略实现：(a)语义实例对齐策略，实现实例级对齐，确保细粒度的感知一致性；(b)用户描述反馈策略，通过实例级图像的语义文本反馈来减轻幻觉。DSPO作为一种即插即用的解决方案，在单步和多步SR框架中都非常有效。

🔬 方法详解

问题定义：现有真实场景图像超分辨率方法虽然取得了显著进展，但缺乏与人类偏好对齐的机制。这导致生成的图像可能包含伪影、幻觉等问题，与人类的审美标准和实际需求存在偏差。现有方法难以平衡像素级别的重建目标和图像级别的人类偏好。

核心思路：本文的核心思路是通过引入直接语义偏好优化(DSPO)来解决上述问题。DSPO旨在将人类对超分辨率图像的偏好直接融入到模型的训练过程中，从而使生成的图像更符合人类的期望。通过语义指导，DSPO可以更好地理解图像内容，并生成更符合人类偏好的细节。

技术框架：DSPO框架主要包含两个关键策略：(1) 语义实例对齐策略：该策略通过实例级别的对齐，确保生成的超分辨率图像在语义上与原始图像保持一致，从而避免出现不自然的伪影或幻觉。(2) 用户描述反馈策略：该策略利用用户对生成图像的文本描述反馈，进一步指导模型的训练，使其能够生成更符合用户期望的图像。整体流程是先通过超分模型生成图像，然后利用语义信息和用户反馈进行偏好优化，最终得到高质量的超分辨率图像。

关键创新：DSPO的关键创新在于将人类偏好直接融入到真实场景图像超分辨率任务中。与传统的基于像素级损失函数的训练方法不同，DSPO通过学习人类的偏好，使模型能够生成更符合人类期望的图像。此外，DSPO还引入了语义指导，从而更好地理解图像内容，并生成更符合人类偏好的细节。

关键设计：DSPO的关键设计包括：(1) 语义实例对齐策略的具体实现方式，例如使用预训练的语义分割模型提取图像的语义特征，并利用这些特征进行实例级别的对齐。(2) 用户描述反馈策略的具体实现方式，例如使用自然语言处理技术分析用户对生成图像的文本描述，并将其转化为可用于指导模型训练的信号。(3) DPO损失函数的具体形式，以及如何将其与语义信息和用户反馈相结合，从而实现有效的偏好优化。具体的参数设置和网络结构细节在论文中应该有更详细的描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DSPO作为一种即插即用的解决方案，在单步和多步超分辨率框架中都表现出高效的性能提升。通过结合语义指导和用户反馈，DSPO能够生成更符合人类偏好的超分辨率图像，有效减少伪影和幻觉。具体的性能数据和对比基线需要在论文中查找（未知）。

🎯 应用场景

DSPO具有广泛的应用前景，例如在视频监控、医学影像、卫星遥感等领域，可以用于提升低分辨率图像的清晰度，从而提高图像分析和识别的准确性。此外，DSPO还可以应用于图像编辑和增强等领域，例如可以用于修复老照片或增强图像的视觉效果。该研究的未来影响在于，它可以推动真实场景图像超分辨率技术的发展，使其能够更好地服务于人类的实际需求。

📄 摘要（原文）

Recent advances in diffusion models have improved Real-World Image Super-Resolution (Real-ISR), but existing methods lack human feedback integration, risking misalignment with human preference and may leading to artifacts, hallucinations and harmful content generation. To this end, we are the first to introduce human preference alignment into Real-ISR, a technique that has been successfully applied in Large Language Models and Text-to-Image tasks to effectively enhance the alignment of generated outputs with human preferences. Specifically, we introduce Direct Preference Optimization (DPO) into Real-ISR to achieve alignment, where DPO serves as a general alignment technique that directly learns from the human preference dataset. Nevertheless, unlike high-level tasks, the pixel-level reconstruction objectives of Real-ISR are difficult to reconcile with the image-level preferences of DPO, which can lead to the DPO being overly sensitive to local anomalies, leading to reduced generation quality. To resolve this dichotomy, we propose Direct Semantic Preference Optimization (DSPO) to align instance-level human preferences by incorporating semantic guidance, which is through two strategies: (a) semantic instance alignment strategy, implementing instance-level alignment to ensure fine-grained perceptual consistency, and (b) user description feedback strategy, mitigating hallucinations through semantic textual feedback on instance-level images. As a plug-and-play solution, DSPO proves highly effective in both one-step and multi-step SR frameworks.