GraPLUS: Graph-based Placement Using Semantics for Image Composition

📄 arXiv: 2503.15761v1 📥 PDF

作者: Mir Mohammad Khaleghi, Mehran Safayani, Abdolreza Mirzaei

分类: cs.CV

发布日期: 2025-03-20

备注: 17 pages, 3 figures, 6 tables

💡 一句话要点

GraPLUS：利用语义信息的图神经网络图像合成对象放置方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像合成 物体放置 场景图 图神经网络 语义嵌入 跨模态注意力 GPT-2

📋 核心要点

  1. 现有图像合成方法难以准确理解场景上下文，导致物体放置不自然、不合理。
  2. GraPLUS利用场景图和大型语言模型，提取丰富的语义信息，指导物体在图像中的合理放置。
  3. 实验表明，GraPLUS在物体放置准确率和视觉质量上均优于现有方法，人工评估也更受欢迎。

📝 摘要（中文）

本文提出了一种名为GraPLUS（基于语义信息的图对象放置）的新框架，用于在图像中进行合理的物体放置，该框架利用了场景图和大型语言模型。我们的方法独特地结合了图结构的场景表示和语义理解，以确定在上下文中合适的物体位置。该框架采用GPT-2将分类节点和边标签转换为丰富的语义嵌入，从而捕获定义特征和典型的空间上下文，从而能够细致地理解物体关系和放置模式。在OPA数据集上，GraPLUS实现了92.1%的放置准确率和28.83的FID分数，优于最先进的方法8.1%，同时保持了具有竞争力的视觉质量。在涉及19名参与者评估的964个样本的人工评估研究中，我们的方法在52.1%的案例中更受欢迎，明显优于以前的方法。该框架的关键创新包括：（i）利用从其他领域迁移知识的预训练场景图模型，（ii）通过结构化关系处理场景语义的边缘感知图神经网络，（iii）将分类嵌入与增强的场景特征对齐的跨模态注意力机制，以及（iv）包含语义一致性约束的多目标训练策略。

🔬 方法详解

问题定义：论文旨在解决图像合成中物体放置不合理的问题。现有方法通常缺乏对场景语义的深入理解，导致合成的图像在物体关系和空间布局上不自然，影响了图像的真实感和可用性。

核心思路：核心思路是将场景表示为图结构，并利用大型语言模型提取节点（物体）和边（关系）的语义信息。通过图神经网络学习物体之间的关系，并结合视觉特征，从而实现更合理的物体放置。这种方法能够更好地理解场景上下文，并根据语义信息进行推理。

技术框架：GraPLUS框架主要包含以下几个模块：1) 场景图构建：将图像解析为场景图，节点表示物体，边表示物体之间的关系。2) 语义嵌入：利用GPT-2等大型语言模型将节点和边的类别标签转换为语义嵌入，捕捉物体和关系的语义信息。3) 图神经网络：使用边缘感知的图神经网络处理场景语义，学习物体之间的关系。4) 跨模态注意力：使用跨模态注意力机制将语义嵌入与增强的场景特征对齐。5) 物体放置：根据学习到的语义信息和视觉特征，确定物体在图像中的最佳位置。

关键创新：主要创新点在于：1) 利用预训练的场景图模型，实现知识迁移。2) 提出边缘感知的图神经网络，能够更好地处理场景语义。3) 引入跨模态注意力机制，将语义信息与视觉特征对齐。4) 采用多目标训练策略，包含语义一致性约束。

关键设计：论文使用了GPT-2模型进行语义嵌入，并设计了边缘感知的图神经网络来处理场景图。损失函数包括放置损失、视觉质量损失和语义一致性损失。跨模态注意力机制用于融合语义嵌入和视觉特征。具体参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GraPLUS在OPA数据集上取得了显著的性能提升，放置准确率达到92.1%，FID分数为28.83，优于现有方法8.1%。人工评估结果表明，GraPLUS在52.1%的案例中更受欢迎，证明了其在物体放置合理性和视觉质量方面的优势。这些结果表明，GraPLUS能够有效地利用语义信息进行图像合成。

🎯 应用场景

GraPLUS可应用于图像编辑、虚拟现实、游戏开发等领域。例如，在图像编辑中，可以自动将物体放置到图像中，并保证其合理性和真实感。在虚拟现实和游戏开发中，可以生成更逼真的场景，提升用户体验。该研究的未来影响在于推动图像合成技术的发展，使其更加智能化和自动化。

📄 摘要（原文）

We present GraPLUS (Graph-based Placement Using Semantics), a novel framework for plausible object placement in images that leverages scene graphs and large language models. Our approach uniquely combines graph-structured scene representation with semantic understanding to determine contextually appropriate object positions. The framework employs GPT-2 to transform categorical node and edge labels into rich semantic embeddings that capture both definitional characteristics and typical spatial contexts, enabling nuanced understanding of object relationships and placement patterns. GraPLUS achieves placement accuracy of 92.1% and an FID score of 28.83 on the OPA dataset, outperforming state-of-the-art methods by 8.1% while maintaining competitive visual quality. In human evaluation studies involving 964 samples assessed by 19 participants, our method was preferred in 52.1% of cases, significantly outperforming previous approaches. The framework's key innovations include: (i) leveraging pre-trained scene graph models that transfer knowledge from other domains, (ii) edge-aware graph neural networks that process scene semantics through structured relationships, (iii) a cross-modal attention mechanism that aligns categorical embeddings with enhanced scene features, and (iv) a multiobjective training strategy incorporating semantic consistency constraints.