Single-Step Bidirectional Unpaired Image Translation Using Implicit Bridge Consistency Distillation

📄 arXiv: 2503.15056v1 📥 PDF

作者: Suhyeon Lee, Kwanyoung Kim, Jong Chul Ye

分类: cs.CV

发布日期: 2025-03-19

备注: 25 pages, 16 figures

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出隐式桥一致性蒸馏(IBCD)，实现单步双向非配对图像转换。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 非配对图像转换 扩散模型 一致性蒸馏 隐式桥模型 单步生成

📋 核心要点

  1. 扩散模型和薛定谔桥方法在非配对图像转换中表现出色，但迭代采样限制了其在实际应用中的部署。
  2. IBCD利用扩散隐式桥模型连接PF-ODE轨迹，并结合一致性蒸馏，实现单步双向转换，无需对抗损失。
  3. 通过分布匹配和自适应加权，IBCD显著提升了蒸馏效果，并在基准数据集上取得了领先的性能。

📝 摘要（中文）

自CycleGAN问世以来，非配对图像到图像的转换取得了显著进展。然而，基于扩散模型或薛定谔桥的方法由于其迭代采样的性质，尚未在实际应用中得到广泛采用。为了解决这一挑战，我们提出了一种新的框架，即隐式桥一致性蒸馏(IBCD)，它能够在不使用对抗损失的情况下实现单步双向非配对转换。IBCD通过使用连接分布之间PF-ODE轨迹的扩散隐式桥模型来扩展一致性蒸馏。此外，我们引入了两项关键改进：1) 用于一致性蒸馏的分布匹配；2) 基于蒸馏难度的自适应加权方法。实验结果表明，IBCD在单个生成步骤中实现了基准数据集上的最先进性能。

🔬 方法详解

问题定义：非配对图像转换旨在学习两个图像域之间的映射关系，而无需一一对应的训练样本。现有的基于扩散模型或薛定谔桥的方法虽然效果显著，但需要进行多次迭代采样，计算成本高昂，难以满足实时性要求。因此，如何实现高效的单步非配对图像转换是一个关键问题。

核心思路：论文的核心思路是利用扩散隐式桥模型来建立两个图像域之间的桥梁，并通过一致性蒸馏的方式将该桥梁的信息传递给一个单步生成器。通过这种方式，可以避免迭代采样，实现高效的图像转换。同时，为了提升蒸馏效果，论文还引入了分布匹配和自适应加权策略。

技术框架：IBCD框架主要包含以下几个模块：1) 扩散隐式桥模型：用于建立两个图像域之间的桥梁，学习PF-ODE轨迹。2) 单步生成器：用于直接生成目标域图像，通过一致性蒸馏学习桥模型的信息。3) 分布匹配模块：用于对齐源域和目标域的特征分布，提升蒸馏效果。4) 自适应加权模块：根据蒸馏难度动态调整损失权重，优化训练过程。整体流程是，首先训练扩散隐式桥模型，然后利用该模型指导单步生成器的训练，最终得到一个高效的单步非配对图像转换模型。

关键创新：IBCD的关键创新在于将扩散隐式桥模型与一致性蒸馏相结合，实现了单步双向非配对图像转换。与传统的基于GAN的方法相比，IBCD避免了对抗训练的不稳定性。与基于扩散模型的方法相比，IBCD实现了单步生成，大大提高了效率。此外，分布匹配和自适应加权策略进一步提升了蒸馏效果。

关键设计：扩散隐式桥模型采用PF-ODE进行建模，单步生成器可以使用U-Net等结构。一致性蒸馏的损失函数可以采用L1或L2损失。分布匹配可以通过最小化MMD或Wasserstein距离来实现。自适应加权可以根据生成图像与目标图像的差异程度动态调整权重。具体的参数设置需要根据具体的数据集和任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

IBCD在多个基准数据集上取得了state-of-the-art的性能，例如在horse2zebra数据集上，IBCD的FID score优于现有方法。实验结果表明，IBCD能够在单步生成的情况下，实现高质量的图像转换，并且具有良好的稳定性和泛化能力。与需要迭代采样的扩散模型相比，IBCD的生成速度更快，更适合实际应用。

🎯 应用场景

该研究成果可广泛应用于图像风格迁移、图像修复、图像增强等领域。例如，可以将照片转换为绘画风格，修复老旧照片，或者增强低质量图像的视觉效果。此外，该方法还可以应用于医学图像分析、遥感图像处理等领域，具有重要的实际应用价值和广阔的发展前景。

📄 摘要（原文）

Unpaired image-to-image translation has seen significant progress since the introduction of CycleGAN. However, methods based on diffusion models or Schrödinger bridges have yet to be widely adopted in real-world applications due to their iterative sampling nature. To address this challenge, we propose a novel framework, Implicit Bridge Consistency Distillation (IBCD), which enables single-step bidirectional unpaired translation without using adversarial loss. IBCD extends consistency distillation by using a diffusion implicit bridge model that connects PF-ODE trajectories between distributions. Additionally, we introduce two key improvements: 1) distribution matching for consistency distillation and 2) adaptive weighting method based on distillation difficulty. Experimental results demonstrate that IBCD achieves state-of-the-art performance on benchmark datasets in a single generation step. Project page available at https://hyn2028.github.io/project_page/IBCD/index.html