AdvFidelity: Unifying Preference Alignment and Few-Step Image Generation within Reinforcement Learning

📄 arXiv: 2610.29380v1 📥 PDF

作者: Sicong Kang, Fangao Zeng, Yuhan Li, Hao Zhou, Mengfei Xu, Wenxiang Shang, Wei Li, Bingbing Ni, Pipei Huang

分类: cs.CV

发布日期: 2026-10-21

💡 一句话要点

提出AdvFidelity以解决图像生成中的偏好对齐与高效性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图像生成 强化学习 对抗学习 保真度监督 少步生成 人类偏好对齐 深度学习

📋 核心要点

  1. 现有方法在图像生成中难以同时实现人类偏好对齐和高效的少步生成，导致生成质量受限。
  2. AdvFidelity通过在线对抗奖励将伪影敏感的保真度监督集成到强化学习中，实现了奖励对齐与高保真生成的统一。
  3. 在多个模型骨干和任务设置下，AdvFidelity在对齐和生成质量上与全步方法相当，且仅需少量步骤。

📝 摘要（中文）

实际的图像生成需要同时考虑人类偏好对齐和少步高效性，但将强化学习与蒸馏结合的过程往往是多阶段的，可能削弱强化学习的效果。本文提出AdvFidelity，通过在线对抗奖励将对低级伪影敏感的保真度监督集成到强化学习中，从而在单一的强化学习阶段实现奖励对齐和高保真少步生成。通过训练判别器对高质量参考（正样本）与当前生成器产生的内容匹配重建（负样本）进行排名，AdvFidelity在对抗伪影的同时保持了样式和场景布局的保留。实验表明，AdvFidelity在对齐、任务性能和整体生成质量上与全步LeapAlign相匹配，并在使用仅4或8步的情况下仍与其他全步强化学习方法保持高度竞争力。

🔬 方法详解

问题定义：本文旨在解决图像生成中人类偏好对齐与少步生成效率之间的矛盾。现有方法往往需要多阶段的蒸馏过程，可能导致强化学习效果的下降。

核心思路：AdvFidelity的核心思路是通过在线对抗奖励引入伪影敏感的保真度监督，从而在单一的强化学习阶段实现高效的图像生成和奖励对齐。这种设计旨在减少多阶段过程带来的复杂性和潜在损失。

技术框架：AdvFidelity的整体架构包括训练一个判别器，该判别器负责对高质量参考（正样本）和当前生成器生成的内容匹配重建（负样本）进行排名。生成器在生成过程中会重建适度噪声的参考图像，以保持样式和场景布局，同时暴露低级伪影。

关键创新：AdvFidelity的主要创新在于将对抗奖励与保真度监督结合，允许生成器在少步生成中动态适应其失败模式。这一方法与传统的蒸馏方法本质上不同，因为它不依赖于分布匹配蒸馏或其他显式蒸馏目标。

关键设计：在设计上，AdvFidelity使用了在线重建的负样本，并通过交替更新的方式将保真度监督适应于生成器的演变。同时，参考样本可以来自现有目标领域数据或全步模型样本，增强了方法的灵活性和适用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AdvFidelity在对齐、任务性能和整体生成质量上与全步LeapAlign相当，且在仅使用4或8步的情况下，仍与其他全步强化学习方法保持高度竞争力。这表明该方法在效率和效果上均有显著提升。

🎯 应用场景

AdvFidelity在图像生成领域具有广泛的应用潜力，特别是在需要快速生成高质量图像的场景中，如游戏开发、虚拟现实和电影制作等。其高效的生成能力和对人类偏好的良好对齐使其在实际应用中具备显著的价值，未来可能推动相关技术的进一步发展。

📄 摘要（原文）

Practical image generation requires both human preference alignment and few-step efficiency, yet combining reinforcement learning (RL) with distillation is often multi-stage and may erode RL gains We observe that few-step RL progressively improves structural coherence, even with specialized rewards, but leaves low-level artifacts that these rewards may fail to penalize. To address this gap, we propose AdvFidelity, which integrates artifact-sensitive fidelity supervision into RL through an online adversarial reward. This enables joint reward alignment and high-fidelity few-step generation within a single RL stage, without distribution matching distillation (DMD) or other explicit distillation objectives. We train a discriminator to rank high-quality references (positives) above content-matched reconstructions (negatives) produced by the current generator. Reconstructing moderately noised references largely preserves style and scene layout while exposing low-level degradations. This encourages the discriminator to assess artifacts rather than content differences. With negatives reconstructed online, alternating updates adapt fidelity supervision to the generator's evolving failure modes. References can come from existing target-domain data or full-step model samples. Built on LeapAlign, AdvFidelity backpropagates gradients from both rewards through the few-step sampling trajectories used at inference. Across two model backbones and three task settings, AdvFidelity matches full-step LeapAlign in alignment, task performance, and overall generation quality and remains highly competitive with other evaluated full-step RL methods, using only 4 or 8 steps without CFG.