Instruction Guided Multi Object Image Editing with Quantity and Layout Consistency

📄 arXiv: 2509.24514v1 📥 PDF

作者: Jiaqi Tan, Fangyu Li, Yang Liu

分类: cs.CV

发布日期: 2025-09-29

💡 一句话要点

提出QL-Adapter，解决多对象图像编辑中数量和布局一致性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像编辑 多对象编辑 指令驱动 布局一致性 跨模态融合 CLIP 空间结构理解

📋 核心要点

  1. 现有基于CLIP文本编码器的指令驱动图像编辑方法在复杂多对象场景中表现不佳。
  2. QL-Adapter通过图像-布局融合和跨模态增强，强化空间结构理解和指令遵循能力。
  3. QL-Adapter在QL-Edit基准上取得了SOTA性能，显著优于现有模型，验证了有效性。

📝 摘要（中文）

本文提出QL-Adapter，一个用于多对象图像编辑的框架，旨在解决对象计数和空间布局的强制执行以及适应多样化类别这两大挑战。QL-Adapter由图像-布局融合模块(ILFM)和跨模态增强模块(CMAM)组成。ILFM将布局先验与CLIP图像编码器的ViT patch tokens融合，以增强空间结构理解。CMAM将图像特征注入到文本分支中，以丰富文本嵌入并改进指令遵循。此外，我们构建了QL-Dataset，一个涵盖广泛类别、布局和计数变化的基准，并定义了数量和布局一致的图像编辑任务(QL-Edit)。大量实验表明，QL-Adapter在QL-Edit上实现了最先进的性能，并显著优于现有模型。

🔬 方法详解

问题定义：现有指令驱动的图像编辑方法，特别是基于CLIP的方案，在处理包含多个对象的复杂场景时，难以保证编辑后图像中对象数量的准确性以及对象之间空间布局的一致性。这些方法通常缺乏对图像中空间结构的有效理解，并且文本指令的语义信息不足以指导精确的图像编辑。

核心思路：QL-Adapter的核心思路是通过显式地融合图像的布局信息和增强文本指令的语义表达，来提高模型对图像空间结构的理解和对文本指令的遵循能力。具体来说，利用图像布局先验来指导图像特征的学习，并利用图像特征来丰富文本嵌入，从而实现更精确和可控的多对象图像编辑。

技术框架：QL-Adapter框架包含两个主要模块：图像-布局融合模块(ILFM)和跨模态增强模块(CMAM)。ILFM将检测到的对象布局信息与CLIP图像编码器提取的ViT patch tokens进行融合，从而增强模型对图像空间结构的理解。CMAM将图像特征注入到文本分支中，以丰富文本嵌入，从而提高模型对文本指令的理解和遵循能力。整个流程是先通过ILFM增强图像特征，再通过CMAM增强文本特征，最后利用增强后的特征进行图像编辑。

关键创新：QL-Adapter的关键创新在于其显式地将图像布局信息融入到图像特征学习中，并利用图像特征来增强文本指令的语义表达。这种双向增强的方式使得模型能够更好地理解图像的空间结构和文本指令的意图，从而实现更精确和可控的多对象图像编辑。与现有方法相比，QL-Adapter更注重空间信息的利用和跨模态信息的融合。

关键设计：ILFM模块使用注意力机制将布局先验信息融入到ViT patch tokens中。CMAM模块使用交叉注意力机制将图像特征注入到文本嵌入中。QL-Dataset的构建考虑了类别、布局和计数的多样性，为模型的训练和评估提供了更具挑战性的场景。损失函数的设计可能包括重建损失、对比损失等，以保证编辑后图像的质量和与文本指令的一致性（具体损失函数细节未知）。

📊 实验亮点

QL-Adapter在QL-Edit基准上取得了state-of-the-art的性能，显著优于现有的图像编辑模型。具体性能数据（例如FID、CLIP score等）和提升幅度在论文中进行了详细的展示（具体数值未知）。实验结果表明，QL-Adapter能够有效地处理多对象场景，并保证编辑后图像中对象数量和布局的一致性。

🎯 应用场景

该研究成果可应用于图像编辑、内容创作、虚拟现实、增强现实等领域。例如，用户可以通过简单的文本指令，精确地控制图像中多个对象的位置、数量和类别，从而实现个性化的图像编辑和创作。该技术还有潜力应用于自动驾驶、机器人导航等领域，提高机器对复杂场景的理解和操作能力。

📄 摘要（原文）

Instruction driven image editing with standard CLIP text encoders often fails in complex scenes with many objects. We present QL-Adapter, a framework for multiple object editing that tackles two challenges: enforcing object counts and spatial layouts, and accommodating diverse categories. QL-Adapter consists of two core modules: the Image-Layout Fusion Module (ILFM) and the Cross-Modal Augmentation Module (CMAM). ILFM fuses layout priors with ViT patch tokens from the CLIP image encoder to strengthen spatial structure understanding. CMAM injects image features into the text branch to enrich textual embeddings and improve instruction following. We further build QL-Dataset, a benchmark that spans broad category, layout, and count variations, and define the task of quantity and layout consistent image editing (QL-Edit). Extensive experiments show that QL-Adapter achieves state of the art performance on QL-Edit and significantly outperforms existing models.