InstructG2I: Synthesizing Images from Multimodal Attributed Graphs

📄 arXiv: 2410.07157v1 📥 PDF

作者: Bowen Jin, Ziqi Pang, Bingjun Guo, Yu-Xiong Wang, Jiaxuan You, Jiawei Han

分类: cs.AI, cs.CL, cs.CV, cs.LG, cs.SI

发布日期: 2024-10-09

备注: 16 pages

期刊: NeurIPs 2024

🔗 代码/项目: GITHUB

💡 一句话要点

InstructG2I：提出一种基于多模态属性图的图像合成方法，实现可控的图到图像生成。

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图到图像生成 多模态属性图 扩散模型 图神经网络 可控生成

📋 核心要点

  1. 现有Graph2Image方法难以处理大规模图、图实体间的依赖关系以及生成过程的可控性。
  2. InstructG2I利用图结构和多模态信息进行邻居采样，并通过Graph-QFormer将图节点编码为图提示，指导扩散模型生成。
  3. 实验表明，InstructG2I在多个数据集上表现出良好的图像生成效果和可控性，验证了其有效性。

📝 摘要（中文）

本文提出了一种被忽视但至关重要的任务：从多模态属性图（MMAGs）生成图像（Graph2Image）。由于图规模的爆炸式增长、图实体之间的依赖关系以及图条件的可控性需求，这项任务面临着巨大的挑战。为了应对这些挑战，我们提出了一种图上下文条件扩散模型，名为InstructG2I。InstructG2I首先利用图结构和多模态信息，通过结合个性化PageRank和基于视觉-语言特征的重排序来进行信息丰富的邻居采样。然后，一个Graph-QFormer编码器自适应地将图节点编码成一组辅助的图提示，以指导扩散的去噪过程。最后，我们提出了图分类器无关引导，通过改变图引导的强度和连接到节点的多个边来实现可控生成。在来自不同领域的三个数据集上进行的大量实验证明了我们方法的有效性和可控性。

🔬 方法详解

问题定义：论文旨在解决从多模态属性图（MMAGs）生成高质量、可控图像的问题。现有方法在处理大规模图数据时效率低下，难以捕捉图实体之间的复杂依赖关系，并且缺乏对生成过程的有效控制，导致生成图像质量和多样性受限。

核心思路：InstructG2I的核心思路是利用图结构和多模态信息，通过信息丰富的邻居采样和图提示编码，引导扩散模型进行图像生成。通过个性化PageRank和视觉-语言特征重排序，选择更相关的邻居节点，从而更好地捕捉图的上下文信息。Graph-QFormer编码器将图节点信息转化为图提示，为扩散模型的去噪过程提供指导。

技术框架：InstructG2I的整体框架包括以下几个主要模块：1) 邻居采样模块：利用个性化PageRank和视觉-语言特征重排序进行信息丰富的邻居采样。2) Graph-QFormer编码器：将图节点编码成一组辅助的图提示。3) 扩散模型：以图提示为条件，进行图像生成。4) 图分类器无关引导：实现可控生成。

关键创新：InstructG2I的关键创新在于：1) 提出了基于个性化PageRank和视觉-语言特征重排序的邻居采样方法，能够更有效地捕捉图的上下文信息。2) 使用Graph-QFormer编码器将图节点信息转化为图提示，为扩散模型提供更有效的指导。3) 提出了图分类器无关引导，实现了对生成过程的精细控制。

关键设计：在邻居采样模块中，个性化PageRank的参数设置影响采样结果。Graph-QFormer编码器的网络结构和训练方式对图提示的质量至关重要。扩散模型的选择和训练策略也会影响生成图像的质量。图分类器无关引导的强度参数控制着图引导的程度，需要根据具体任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

InstructG2I在三个不同领域的数据集上进行了广泛的实验，结果表明该方法在图像生成质量和可控性方面均优于现有方法。通过图分类器无关引导，InstructG2I能够实现对生成图像的精细控制，例如控制图像中特定对象的数量和位置。实验结果证明了InstructG2I在Graph2Image任务中的有效性和优越性。

🎯 应用场景

InstructG2I在多个领域具有广泛的应用前景，例如：场景图生成、分子图到图像的生成、社交网络用户画像生成等。该研究成果可以用于创建更逼真、更可控的虚拟环境，辅助药物发现，以及提升社交媒体内容生成质量。未来，InstructG2I有望应用于更多需要从图结构数据生成图像的场景。

📄 摘要（原文）

In this paper, we approach an overlooked yet critical task Graph2Image: generating images from multimodal attributed graphs (MMAGs). This task poses significant challenges due to the explosion in graph size, dependencies among graph entities, and the need for controllability in graph conditions. To address these challenges, we propose a graph context-conditioned diffusion model called InstructG2I. InstructG2I first exploits the graph structure and multimodal information to conduct informative neighbor sampling by combining personalized page rank and re-ranking based on vision-language features. Then, a Graph-QFormer encoder adaptively encodes the graph nodes into an auxiliary set of graph prompts to guide the denoising process of diffusion. Finally, we propose graph classifier-free guidance, enabling controllable generation by varying the strength of graph guidance and multiple connected edges to a node. Extensive experiments conducted on three datasets from different domains demonstrate the effectiveness and controllability of our approach. The code is available at https://github.com/PeterGriffinJin/InstructG2I.