Towards Design Compositing

📄 arXiv: 2604.14605v1 📥 PDF

作者: Abhinav Mahajan, Abhikhya Tripathy, Sudeeksha Reddy Pala, Vaibhav Methi, K J Joseph, Balaji Vasan Srinivasan

分类: cs.CV

发布日期: 2026-04-16

备注: Accepted at CVPR 2026 Workshop on CVEU

💡 一句话要点

提出GIST，实现设计元素风格统一化与无缝融合，提升设计美观度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图形设计 风格迁移 图像合成 视觉和谐 设计自动化

📋 核心要点

  1. 现有设计方法假设输入元素风格一致，但实际应用中元素来源多样，风格不匹配成为瓶颈。
  2. GIST通过身份保持的风格化和合成，弥补了现有设计流程中风格统一的关键缺失环节。
  3. 实验表明，GIST能显著提升现有设计流程的视觉和谐性和美学质量，并得到LLaVA-OV和GPT-4V的验证。

📝 摘要（中文）

图形设计创作涉及将来自不同来源的多模态组件（如图像、文本、logo和其他视觉资产）和谐地组合成具有视觉吸引力和凝聚力的设计。现有方法主要集中在布局预测或互补元素生成上，同时完全保留输入元素，隐含地假设提供的组件在风格上已经和谐。然而，实际输入通常来自不同的来源，并且表现出视觉不匹配，这使得上述假设具有局限性。本文提出GIST，一种无需训练、保持身份的图像合成器，它位于布局预测和排版生成之间，可以无修改地插入到任何现有的组件到设计或设计改进流程中。通过将GIST与两种截然不同的现有方法LaDeCo和Design-o-meter集成，证明了GIST在视觉和谐和美学质量方面均有显著改善，并通过LLaVA-OV和GPT-4V在各个方面的评分和与朴素粘贴的成对偏好比较中得到了验证。

🔬 方法详解

问题定义：现有图形设计方法在处理来自不同来源的视觉元素时，往往忽略了元素之间风格不一致的问题。这些方法通常假设输入元素在视觉上是和谐的，直接进行布局预测或互补元素生成，导致最终设计缺乏整体美感和协调性。因此，如何有效地统一不同元素的风格，使其无缝融合，是当前设计流程中的一个重要挑战。

核心思路：GIST的核心思路是在保持每个输入元素自身特征的前提下，对其进行风格迁移和融合，从而实现整体设计的视觉和谐。GIST通过一种无需训练的方式，将不同风格的元素进行统一化处理，使其在视觉上更加协调一致。这种方法避免了对现有设计流程的修改，可以灵活地插入到各种设计管线中。

技术框架：GIST作为一个独立的模块，位于布局预测和排版生成之间。其主要流程包括：首先，对输入的各个视觉元素进行分析，提取其风格特征；然后，利用风格迁移技术，将各个元素的风格统一到目标风格；最后，将风格统一后的元素进行合成，生成最终的设计结果。GIST可以与现有的布局预测和排版生成方法无缝集成，形成一个完整的组件到设计流程。

关键创新：GIST的关键创新在于其无需训练的风格迁移方法和身份保持机制。传统的风格迁移方法通常需要大量的训练数据，并且容易改变输入元素自身的特征。而GIST通过一种新颖的算法，可以在不改变元素身份的前提下，实现风格的统一化。这种方法不仅降低了计算成本，还保证了设计结果的质量。

关键设计：GIST的具体技术细节未在摘要中详细说明，例如风格迁移算法的具体实现、身份保持的策略、以及合成过程中的参数设置等。这些细节需要参考论文全文才能进一步了解。但可以推测，GIST可能利用了图像处理和计算机视觉领域的经典算法，例如风格迁移网络、图像融合算法等，并在此基础上进行了创新性的改进。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GIST与LaDeCo和Design-o-meter集成后，在视觉和谐和美学质量方面均有显著改善。LLaVA-OV和GPT-4V的评估结果表明，GIST在各个方面均优于朴素粘贴方法，验证了其有效性。具体的性能提升数据需要在论文全文中查找。

🎯 应用场景

GIST可广泛应用于广告设计、海报制作、社交媒体内容生成等领域。通过自动统一不同来源素材的风格，GIST能够显著提升设计效率和质量，降低人工成本。未来，GIST有望集成到各类设计软件和在线平台中，赋能设计师和普通用户，创造更具吸引力的视觉内容。

📄 摘要（原文）

Graphic design creation involves harmoniously assembling multimodal components such as images, text, logos, and other visual assets collected from diverse sources, into a visually-appealing and cohesive design. Recent methods have largely focused on layout prediction or complementary element generation, while retaining input elements exactly, implicitly assuming that provided components are already stylistically harmonious. In practice, inputs often come from disparate sources and exhibit visual mismatch, making this assumption limiting. We argue that identity-preserving stylization and compositing of input elements is a critical missing ingredient for truly harmonized components-to-design pipelines. To this end, we propose GIST, a training-free, identity-preserving image compositor that sits between layout prediction and typography generation, and can be plugged into any existing components-to-design or design-refining pipeline without modification. We demonstrate this by integrating GIST with two substantially different existing methods, LaDeCo and Design-o-meter. GIST shows significant improvements in visual harmony and aesthetic quality across both pipelines, as validated by LLaVA-OV and GPT-4V on aspect-wise ratings and pairwise preference over naive pasting. Project Page: abhinav-mahajan10.github.io/GIST/.