Training-free Regional Prompting for Diffusion Transformers

📄 arXiv: 2411.02395v1 📥 PDF

作者: Anthony Chen, Jianjin Xu, Wenzhao Zheng, Gaole Dai, Yida Wang, Renrui Zhang, Haofan Wang, Shanghang Zhang

分类: cs.CV

发布日期: 2024-11-04

备注: Code is available at https://github.com/antonioo-c/Regional-Prompting-FLUX

🔗 代码/项目: GITHUB

💡 一句话要点

提出一种免训练的区域提示方法，提升Diffusion Transformer在复杂文本生成中的精细控制能力。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散模型 Diffusion Transformer 区域提示 注意力机制 文本到图像生成

📋 核心要点

  1. 现有扩散模型在处理包含复杂空间关系的文本提示时存在困难，无法精确控制生成图像的细节。
  2. 该论文提出一种免训练的区域提示方法，通过注意力机制的操控，实现对Diffusion Transformer的精细控制。
  3. 该方法在FLUX.1架构上实现，无需额外训练即可提升模型在复杂文本到图像生成任务中的性能。

📝 摘要（中文）

扩散模型在文本到图像生成方面表现出卓越的能力。借助大型语言模型（如T5、Llama），它们的语义理解（即提示遵循）能力也得到了极大的提高。然而，现有的模型无法完美地处理长而复杂的文本提示，特别是当文本提示包含具有众多属性和相互关联的空间关系的各种对象时。虽然已经为基于UNet的模型（SD1.5、SDXL）提出了许多区域提示方法，但仍然没有基于最新的Diffusion Transformer（DiT）架构（如SD3和FLUX.1）的实现。在本报告中，我们提出并实现了基于注意力操纵的FLUX.1区域提示，这使得DiT能够在无需训练的情况下实现细粒度的组合文本到图像生成能力。代码可在https://github.com/antonioo-c/Regional-Prompting-FLUX 获取。

🔬 方法详解

问题定义：现有文本到图像生成模型，特别是基于Diffusion Transformer的模型，在处理包含多个对象及其复杂空间关系的文本提示时，难以实现精细的控制。用户希望能够指定图像中不同区域的内容，但现有方法要么需要大量训练，要么无法直接应用于DiT架构。

核心思路：该论文的核心思路是通过操纵Diffusion Transformer中的注意力机制，实现对不同区域的独立控制。通过调整注意力权重，使得模型能够根据文本提示，将不同的语义信息分配到图像的不同区域，从而实现区域提示。

技术框架：该方法基于FLUX.1架构，整体流程如下：1. 输入包含区域信息的文本提示；2. 通过注意力操纵模块，调整Transformer中不同token之间的注意力权重；3. 调整后的注意力权重引导扩散过程，生成符合区域提示的图像。该方法不需要额外的训练。

关键创新：该方法最重要的创新点在于提出了一种免训练的区域提示方法，可以直接应用于Diffusion Transformer架构。与需要大量训练的区域提示方法相比，该方法更加灵活高效。此外，该方法通过注意力操纵，实现了对生成过程的细粒度控制。

关键设计：该方法的关键设计在于注意力操纵模块。具体来说，该模块通过计算不同token之间的相似度，并根据区域信息调整注意力权重。例如，如果一个token属于某个特定区域，则该token与其他属于相同区域的token之间的注意力权重会增加，而与其他区域的token之间的注意力权重会减少。具体的相似度计算方式和权重调整策略未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该论文提出了一种免训练的区域提示方法，可以直接应用于Diffusion Transformer架构，例如FLUX.1。实验结果表明，该方法能够有效提升模型在复杂文本到图像生成任务中的性能，实现对生成图像的精细控制。具体的性能数据和对比基线未知。

🎯 应用场景

该研究成果可应用于图像编辑、内容创作、虚拟现实等领域。例如，用户可以通过指定不同区域的文本提示，快速生成符合需求的图像，或者对现有图像进行局部修改。该方法还可以用于生成具有复杂场景和对象的图像，例如游戏场景、电影特效等，具有广泛的应用前景。

📄 摘要（原文）

Diffusion models have demonstrated excellent capabilities in text-to-image generation. Their semantic understanding (i.e., prompt following) ability has also been greatly improved with large language models (e.g., T5, Llama). However, existing models cannot perfectly handle long and complex text prompts, especially when the text prompts contain various objects with numerous attributes and interrelated spatial relationships. While many regional prompting methods have been proposed for UNet-based models (SD1.5, SDXL), but there are still no implementations based on the recent Diffusion Transformer (DiT) architecture, such as SD3 and FLUX.1.In this report, we propose and implement regional prompting for FLUX.1 based on attention manipulation, which enables DiT with fined-grained compositional text-to-image generation capability in a training-free manner. Code is available at https://github.com/antonioo-c/Regional-Prompting-FLUX.