UniCon: Unidirectional Information Flow for Effective Control of Large-Scale Diffusion Models

📄 arXiv: 2503.17221v2 📥 PDF

作者: Fanghua Yu, Jinjin Gu, Jinfan Hu, Zheyuan Li, Chao Dong

分类: cs.CV

发布日期: 2025-03-21 (更新: 2025-03-28)

备注: This work has been accepted for publication at the International Conference on Learning Representations (ICLR) 2025

💡 一句话要点

UniCon：单向信息流控制大规模扩散模型，提升训练效率与控制精度。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 扩散模型 条件生成 控制适配器 单向信息流 高效训练

📋 核心要点

  1. 现有扩散模型控制方法依赖双向交互，计算成本高，限制了适配器规模。
  2. UniCon采用单向信息流，仅适配器生成最终输出，无需扩散模型反向传播。
  3. 实验表明，UniCon显著降低GPU内存占用，提升训练速度，并支持更大规模适配器。

📝 摘要（中文）

本文提出了一种名为UniCon的新型架构，旨在增强大规模扩散模型中适配器训练的控制能力和效率。与现有依赖于扩散模型和控制适配器之间双向交互的方法不同，UniCon实现了从扩散网络到适配器的单向信息流，允许适配器独立生成最终输出。UniCon通过消除适配器训练期间扩散模型计算和存储梯度的需求，降低了计算需求。结果表明，UniCon在保持相同适配器参数大小的情况下，GPU内存使用量减少了三分之一，训练速度提高了2.3倍。此外，在不需要额外计算资源的情况下，UniCon能够训练参数量是现有ControlNet两倍的适配器。在一系列图像条件生成任务中，UniCon展示了对控制输入的精确响应和卓越的生成能力。

🔬 方法详解

问题定义：现有控制大规模扩散模型的方法，如ControlNet，通常采用双向信息交互，即扩散模型和控制适配器之间相互影响。这种双向交互需要扩散模型在适配器训练过程中计算和存储梯度，导致计算资源消耗大，训练效率低，并且限制了适配器参数规模的扩展。

核心思路：UniCon的核心思路是采用单向信息流，将扩散模型的信息单向传递给控制适配器，由适配器独立生成最终输出。这样，扩散模型在适配器训练过程中无需计算和存储梯度，从而显著降低计算资源消耗，提高训练效率，并允许训练更大规模的适配器。

技术框架：UniCon的整体架构包含一个预训练的扩散模型和一个控制适配器。扩散模型负责提取图像特征，并将特征信息单向传递给控制适配器。控制适配器接收扩散模型的特征信息和控制信号（如边缘图、分割图等），并根据这些信息生成最终的图像。在训练过程中，只更新控制适配器的参数，扩散模型的参数保持固定。

关键创新：UniCon最重要的技术创新点是单向信息流的设计。与现有方法的双向交互相比，单向信息流避免了扩散模型在适配器训练过程中的梯度计算，从而显著降低了计算资源消耗，提高了训练效率。此外，单向信息流还允许训练更大规模的适配器，从而提升控制精度和生成质量。

关键设计：UniCon的关键设计包括：1) 使用预训练的扩散模型作为特征提取器；2) 设计高效的控制适配器网络结构，以充分利用扩散模型的特征信息和控制信号；3) 采用合适的损失函数，例如像素级别的L1或L2损失，以及感知损失等，以优化适配器的生成质量。具体的网络结构和损失函数选择取决于具体的应用场景和控制信号类型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

UniCon在图像条件生成任务中表现出色。实验结果表明，在保持相同适配器参数大小的情况下，UniCon将GPU内存使用量减少了三分之一，训练速度提高了2.3倍。此外，UniCon还能够训练参数量是现有ControlNet两倍的适配器，而无需额外的计算资源。这些结果表明，UniCon在提升训练效率和控制精度方面具有显著优势。

🎯 应用场景

UniCon在图像生成领域具有广泛的应用前景，例如图像编辑、图像修复、风格迁移、条件图像生成等。通过UniCon，用户可以更加精确地控制生成图像的内容和风格，从而满足各种个性化需求。此外，UniCon还可以应用于其他领域，例如视频生成、3D模型生成等，具有重要的实际价值和未来影响。

📄 摘要（原文）

We introduce UniCon, a novel architecture designed to enhance control and efficiency in training adapters for large-scale diffusion models. Unlike existing methods that rely on bidirectional interaction between the diffusion model and control adapter, UniCon implements a unidirectional flow from the diffusion network to the adapter, allowing the adapter alone to generate the final output. UniCon reduces computational demands by eliminating the need for the diffusion model to compute and store gradients during adapter training. Our results indicate that UniCon reduces GPU memory usage by one-third and increases training speed by 2.3 times, while maintaining the same adapter parameter size. Additionally, without requiring extra computational resources, UniCon enables the training of adapters with double the parameter volume of existing ControlNets. In a series of image conditional generation tasks, UniCon has demonstrated precise responsiveness to control inputs and exceptional generation capabilities.