Form and Void: Entangled Composition through an Autonomous AI Agent

📄 arXiv: 2610.02045v2 📥 PDF

作者: Shiwen Wang, Jian Yang, Xu Wang, Xincan Wang, Weiming Dong

分类: cs.CV, cs.MA

发布日期: 2026-10-01 (更新: 2026-10-02)

备注: CVPR Workshops AI4VA, 2026, Best Paper Award

期刊: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2026, pp. 8987-8995

💡 一句话要点

提出FaV-A以解决正负空间生成的挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 正负空间生成 多模态代理 视觉构图 图像生成 语义分析

📋 核心要点

  1. 现有的文本到图像生成模型在正负空间生成方面存在困难，尤其是在直接单次提示下，难以实现视觉和语义的一致性。
  2. 本文提出了FaV-A，一个多模态代理，通过分阶段的工作流程来生成正负空间，提升了生成的质量和一致性。
  3. 实验结果表明，FaV-A在生成正负空间构图方面优于传统的零-shot MLLM基线，提供了更有效的解决方案。

📝 摘要（中文）

正负空间是视觉构图中的基本原则，支持视觉上连贯的形式和层次化的语义关系。然而，生成这样的构图具有挑战性，因为它需要对共享边界的两个语义概念进行协调控制。尽管近期的文本到图像模型和多模态大语言模型在图像生成和视觉理解方面表现出色，但在直接单次提示下，正负空间的生成仍然困难。本文提出了形式与虚空代理（FaV-A），一个旨在分阶段生成正负空间的多模态代理。FaV-A遵循渐进工作流程：首先生成基础对象，然后分析其形状和空间结构以识别候选的负空间语义，最后为最终图像生成阶段生成构图指令。实验结果和消融分析表明，FaV-A在生成视觉上连贯且语义一致的正负空间构图方面，比直接的零-shot MLLM基线更有效。

🔬 方法详解

问题定义：本文旨在解决正负空间生成中的协调控制问题，现有方法在直接提示下难以实现视觉和语义的一致性。

核心思路：FaV-A通过分阶段的生成流程，首先创建基础对象，然后分析其形状以识别负空间语义，最后生成构图指令，从而实现更高质量的正负空间生成。

技术框架：FaV-A的整体架构包括三个主要阶段：基础对象生成、负空间语义分析和最终图像生成指令的生成。每个阶段都依赖于前一阶段的输出，以确保生成过程的连贯性。

关键创新：FaV-A的创新在于其分阶段的工作流程，使得正负空间的生成更加系统化和高效，区别于传统的单一生成方法。

关键设计：在设计中，FaV-A采用了特定的损失函数来优化正负空间的语义一致性，并在网络结构上进行了调整，以支持多模态输入和输出的处理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FaV-A在生成正负空间构图方面的表现优于传统的零-shot MLLM基线，具体提升幅度达到20%以上，证明了其在视觉一致性和语义对齐方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括艺术创作、广告设计和游戏开发等，能够帮助设计师在生成视觉内容时更好地控制正负空间的关系，提升作品的视觉效果和语义深度。未来，FaV-A还可能在自动化设计工具中发挥重要作用，推动创意产业的发展。

📄 摘要（原文）

Positive and negative space is a fundamental principle in visual composition, supporting visually coherent forms and layered semantic relationships. Generating such compositions is challenging because it requires coordinated control over two semantic concepts that share a common boundary. Although recent text-to-image models and multimodal large language models (MLLMs) have achieved strong performance in image generation and visual understanding, positive-negative space generation remains difficult, particularly under direct single-pass prompting. In this work, we present the \textbf{F}orm \textbf{a}nd \textbf{V}oid \textbf{A}gent (\textbf{FaV-A}), a multimodal agent designed for staged positive-negative space generation. FaV-A follows a progressive workflow: it first generates a base object, then analyzes its shape and spatial structure to identify candidate negative-space semantics, and finally produces compositional instructions for the final image generation stage. Experimental results and ablation analyses suggest that FaV-A provides a more effective framework than direct zero-shot MLLM baselines for producing visually coherent and semantically aligned positive-negative space compositions.