CREPE: Controlling Diffusion with Replica Exchange

📄 arXiv: 2509.23265v1 📥 PDF

作者: Jiajun He, Paul Jeha, Peter Potaptchik, Leo Zhang, José Miguel Hernández-Lobato, Yuanqi Du, Saifuddin Syed, Francisco Vargas

分类: cs.LG

发布日期: 2025-09-27

备注: 29 pages, 14 figures, 3 tables

💡 一句话要点

CREPE：利用副本交换控制扩散模型，实现推理时灵活引导。

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 扩散模型 副本交换 推理控制 生成模型 序列蒙特卡洛

📋 核心要点

  1. 现有扩散模型推理控制方法依赖启发式引导或与SMC耦合，存在局限性。
  2. CREPE利用副本交换算法，顺序生成多样性样本，支持在线优化和提前终止。
  3. 实验表明，CREPE在多种任务中表现出竞争力，例如温度退火和无分类器引导去偏。

📝 摘要（中文）

本文提出了一种基于副本交换的灵活方法，用于在推理时控制扩散模型，无需重新训练即可引导模型输出以满足新的约束。该方法名为CREPE（Controlling with REPlica Exchange），最初是为采样问题设计的。与序列蒙特卡洛（SMC）不同，CREPE：（1）顺序生成粒子，（2）在burn-in阶段后保持生成样本的高度多样性，以及（3）支持在线细化或提前终止。我们通过各种任务展示了其通用性，包括温度退火、奖励倾斜、模型组合和无分类器引导去偏，与之前的SMC方法相比具有竞争力的性能。

🔬 方法详解

问题定义：扩散模型在推理时缺乏灵活的控制手段，难以在不重新训练的情况下满足新的约束条件。现有方法，如启发式引导或与序列蒙特卡洛（SMC）结合，要么依赖经验，要么计算成本高昂，限制了其应用范围。

核心思路：CREPE的核心在于利用副本交换算法，该算法最初用于解决采样问题。通过维护多个“副本”（即扩散模型的不同状态），并在这些副本之间进行交换，CREPE能够探索更广泛的解空间，从而生成更多样化的样本，并更好地满足给定的约束。

技术框架：CREPE的整体流程如下：首先，初始化多个扩散模型的副本，每个副本具有不同的参数或噪声水平。然后，CREPE迭代地执行以下步骤：(1) 使用扩散模型生成样本；(2) 根据预定义的交换准则（例如，基于样本与目标约束的匹配程度）选择要交换的副本对；(3) 交换选定副本的状态。这个过程持续进行，直到达到预定的迭代次数或满足收敛条件。

关键创新：CREPE的关键创新在于将副本交换算法应用于扩散模型的推理控制。与SMC等方法相比，CREPE能够顺序生成粒子，并在burn-in阶段后保持生成样本的高度多样性，同时支持在线细化或提前终止，从而提高了效率和灵活性。

关键设计：CREPE的关键设计包括副本的数量、交换准则和迭代次数。副本数量决定了探索解空间的广度，交换准则决定了副本之间信息传递的效率，迭代次数决定了算法的收敛速度。具体参数设置需要根据具体任务进行调整。此外，CREPE可以与各种扩散模型和约束条件相结合，具有很强的通用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过多个实验验证了CREPE的有效性。在温度退火、奖励倾斜、模型组合和无分类器引导去偏等任务中，CREPE均取得了与现有SMC方法相当或更好的性能。例如，在无分类器引导去偏任务中，CREPE能够有效地减少生成样本的偏差，提高生成质量。实验结果表明，CREPE是一种通用且有效的扩散模型控制方法。

🎯 应用场景

CREPE具有广泛的应用前景，包括图像生成、文本生成、音频生成等领域。它可以用于生成具有特定属性或风格的图像，例如，生成特定主题的艺术作品或生成满足特定安全要求的图像。此外，CREPE还可以用于模型组合，将多个模型的优势结合起来，生成更高质量的样本。该方法在内容创作、数据增强、安全应用等领域具有潜在的实际价值。

📄 摘要（原文）

Inference-time control of diffusion models aims to steer model outputs to satisfy new constraints without retraining. Previous approaches have mostly relied on heuristic guidance or have been coupled with Sequential Monte Carlo (SMC) for bias correction. In this paper, we propose a flexible alternative based on replica exchange, an algorithm designed initially for sampling problems. We refer to this method as the CREPE (Controlling with REPlica Exchange). Unlike SMC, CREPE: (1) generates particles sequentially, (2) maintains high diversity in the generated samples after a burn-in period, and (3) enables online refinement or early termination. We demonstrate its versatility across various tasks, including temperature annealing, reward-tilting, model composition and classifier-free guidance debiasing, with competitive performance compared to prior SMC methods.