Hunyuan-DiT: A Powerful Multi-Resolution Diffusion Transformer with Fine-Grained Chinese Understanding

📄 arXiv: 2405.08748v1 📥 PDF

作者: Zhimin Li, Jianwei Zhang, Qin Lin, Jiangfeng Xiong, Yanxin Long, Xinchi Deng, Yingfang Zhang, Xingchao Liu, Minbin Huang, Zedong Xiao, Dayou Chen, Jiajun He, Jiahao Li, Wenyue Li, Chen Zhang, Rongwei Quan, Jianxiang Lu, Jiabin Huang, Xiaoyan Yuan, Xiaoxiao Zheng, Yixuan Li, Jihong Zhang, Chao Zhang, Meng Chen, Jie Liu, Zheng Fang, Weiyan Wang, Jinbao Xue, Yangyu Tao, Jianchen Zhu, Kai Liu, Sihuan Lin, Yifu Sun, Yun Li, Dongdong Wang, Mingtao Chen, Zhichao Hu, Xiao Xiao, Yan Chen, Yuhong Liu, Wei Liu, Di Wang, Yong Yang, Jie Jiang, Qinglin Lu

分类: cs.CV

发布日期: 2024-05-14

备注: Project Page: https://dit.hunyuan.tencent.com/

💡 一句话要点

Hunyuan-DiT：一种强大的多分辨率扩散Transformer，具备精细的中文理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到图像生成 扩散Transformer 中文理解 多模态学习 大型语言模型 图像生成 深度学习

📋 核心要点

  1. 现有文本到图像生成模型在中文理解方面存在不足，难以捕捉细粒度的语义信息，限制了生成图像的质量和准确性。
  2. Hunyuan-DiT通过精心设计的Transformer结构、文本编码器和位置编码，以及多模态大型语言模型辅助，提升了模型对中英文的精细理解能力。
  3. 通过大量人工评估，Hunyuan-DiT在中文到图像生成任务上取得了显著的性能提升，超越了现有的开源模型，达到了新的SOTA。

📝 摘要（中文）

本文提出了Hunyuan-DiT，一种文本到图像的扩散Transformer，它能够精细地理解英语和中文。为了构建Hunyuan-DiT，我们精心设计了Transformer结构、文本编码器和位置编码。我们还从零开始构建了一个完整的数据流水线，用于更新和评估数据，以进行迭代模型优化。为了实现精细的语言理解，我们训练了一个多模态大型语言模型来改进图像的标题。最终，Hunyuan-DiT可以与用户进行多轮多模态对话，根据上下文生成和改进图像。通过我们全面的人工评估协议，超过50名专业人工评估员参与，Hunyuan-DiT在中文到图像生成方面，相比其他开源模型，达到了新的state-of-the-art水平。代码和预训练模型已在github.com/Tencent/HunyuanDiT上公开。

🔬 方法详解

问题定义：现有的文本到图像生成模型，尤其是在处理中文文本时，往往难以捕捉到细粒度的语义信息，导致生成的图像与文本描述不符，或者质量不高。此外，缺乏有效的数据流水线和评估机制，也阻碍了模型的迭代优化。

核心思路：Hunyuan-DiT的核心思路是构建一个能够精细理解中英文文本的扩散Transformer模型。通过优化Transformer结构、文本编码器和位置编码，增强模型对语言的理解能力。同时，利用多模态大型语言模型来改进图像标题，进一步提升文本的语义表达能力。

技术框架：Hunyuan-DiT的整体架构是一个基于Transformer的扩散模型。它包含以下主要模块：文本编码器（用于将文本转换为向量表示）、扩散模型（用于从噪声中逐步生成图像）、图像解码器（用于将扩散模型的输出转换为图像）。此外，还包括一个多模态大型语言模型，用于改进图像标题。整个流程包括数据预处理、模型训练、图像生成和人工评估等环节。

关键创新：Hunyuan-DiT的关键创新在于其对Transformer结构、文本编码器和位置编码的精心设计，以及引入多模态大型语言模型来改进图像标题。这些创新使得模型能够更准确地理解文本的语义信息，从而生成更高质量的图像。

关键设计：在Transformer结构方面，可能采用了多头注意力机制和前馈神经网络。文本编码器可能使用了预训练的语言模型，如BERT或GPT。位置编码可能采用了相对位置编码或可学习的位置编码。损失函数可能包括扩散模型的损失函数和多模态大型语言模型的损失函数。具体参数设置和网络结构细节在论文中应该有更详细的描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Hunyuan-DiT通过超过50名专业人工评估员的全面评估，在中文到图像生成任务上取得了显著的性能提升，超越了现有的开源模型，达到了新的state-of-the-art水平。具体的性能数据和对比基线需要在论文中查找（未知）。

🎯 应用场景

Hunyuan-DiT在图像生成、内容创作、广告设计、游戏开发等领域具有广泛的应用前景。它可以根据用户的文本描述生成各种风格和内容的图像，为用户提供更便捷、高效的创作工具。未来，该技术有望应用于虚拟现实、增强现实等领域，为用户带来更沉浸式的体验。

📄 摘要（原文）

We present Hunyuan-DiT, a text-to-image diffusion transformer with fine-grained understanding of both English and Chinese. To construct Hunyuan-DiT, we carefully design the transformer structure, text encoder, and positional encoding. We also build from scratch a whole data pipeline to update and evaluate data for iterative model optimization. For fine-grained language understanding, we train a Multimodal Large Language Model to refine the captions of the images. Finally, Hunyuan-DiT can perform multi-turn multimodal dialogue with users, generating and refining images according to the context. Through our holistic human evaluation protocol with more than 50 professional human evaluators, Hunyuan-DiT sets a new state-of-the-art in Chinese-to-image generation compared with other open-source models. Code and pretrained models are publicly available at github.com/Tencent/HunyuanDiT