LVLM-Composer's Explicit Planning for Image Generation

📄 arXiv: 2507.04152v1 📥 PDF

作者: Spencer Ramsey, Jeffrey Lee, Amina Grant

分类: cs.CV

发布日期: 2025-07-05

💡 一句话要点

LVLM-Composer：通过显式规划提升图像生成的组合理解能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到图像生成 大型视觉语言模型 组合理解 语义规划 特征对齐 强化学习 图像合成

📋 核心要点

  1. 现有LVLM在处理复杂文本描述时，缺乏精确的组合理解和视觉规划能力，难以准确渲染复杂场景。
  2. LVLM-Composer通过分层语义规划模块和细粒度特征对齐机制，增强了组合图像合成能力。
  3. 实验表明，LVLM-Composer在对象准确性、组合保真度和姿势准确性等方面显著优于现有方法。

📝 摘要（中文）

生成式人工智能领域蓬勃发展，大型视觉语言模型（LVLM）正处于内容创建方法变革的前沿。尽管现有LVLM在文本到图像生成方面表现出令人印象深刻的能力，但在面对需要精确组合理解和视觉规划的复杂文本描述时，它们常常会失败。这种局限性尤其影响到复杂场景中多个对象、它们的属性、空间关系和特定姿势的准确渲染，LongBench-T2I等基准测试证明了这一点。为了应对这些挑战，我们引入了LVLM-Composer，这是一种新型的100亿参数规模的LVLM，专门为增强组合图像合成而设计。我们的方法结合了用于结构化提示分解的分层语义规划模块和用于生成过程中精确视觉指导的细粒度特征对齐机制。我们提出了一种多阶段训练范式，包括分层语义-视觉 grounding 预训练和具有自校正的组合规划强化学习，以灌输强大的组合推理能力。在LongBench-T2I基准上的大量实验，利用Gemini-2.0-Flash和InternVL3-78B进行自动评估，证明了LVLM-Composer在包括对象准确性、组合保真度和姿势准确性等关键组合维度上的卓越性能，显著优于最先进的基线。深入的消融研究进一步验证了我们提出的模块的不可或缺的贡献，而人工评估证实了我们生成的图像的感知优越性。LVLM-Composer代表着朝着真正可控和组合精确的开放式文本到图像生成迈出的重要一步。

🔬 方法详解

问题定义：现有的大型视觉语言模型（LVLM）在文本到图像生成任务中，尤其是在处理复杂的、需要精确组合理解的文本描述时，表现不佳。它们难以准确地渲染多个对象及其属性、空间关系和姿势，导致生成的图像在组合保真度、对象准确性和姿势准确性方面存在缺陷。现有方法缺乏有效的机制来分解复杂提示并指导图像生成过程，从而限制了它们在复杂场景生成中的应用。

核心思路：LVLM-Composer的核心思路是通过显式地进行语义规划，将复杂的文本提示分解为更易于管理的子任务，并利用细粒度的特征对齐机制来指导图像生成过程。这种方法旨在提高模型对文本描述的组合理解能力，从而生成更准确、更逼真的图像。通过分层语义规划，模型可以更好地理解场景的结构和对象之间的关系，而细粒度特征对齐则确保生成的图像在视觉上与文本描述保持一致。

技术框架：LVLM-Composer的整体框架包括以下几个主要模块：1) 分层语义规划模块：用于将复杂的文本提示分解为更小的、更易于管理的语义单元。2) 细粒度特征对齐机制：用于在图像生成过程中，将文本提示中的语义信息与视觉特征对齐，从而确保生成的图像与文本描述一致。3) 多阶段训练范式：包括分层语义-视觉 grounding 预训练和具有自校正的组合规划强化学习。预训练阶段旨在使模型学习文本和图像之间的基本对应关系，而强化学习阶段则旨在提高模型在复杂场景生成中的组合推理能力。

关键创新：LVLM-Composer的关键创新在于其显式的语义规划和细粒度特征对齐机制。与以往的方法相比，LVLM-Composer不是直接将文本提示输入到图像生成模型中，而是首先通过分层语义规划模块对提示进行分解，从而使模型能够更好地理解场景的结构和对象之间的关系。此外，细粒度特征对齐机制确保生成的图像在视觉上与文本描述保持一致，从而提高了图像的质量和准确性。

关键设计：LVLM-Composer采用了100亿参数规模的LVLM。在训练方面，采用了多阶段训练范式，包括分层语义-视觉 grounding 预训练和具有自校正的组合规划强化学习。具体而言，分层语义规划模块的设计细节（例如，如何进行提示分解、如何表示语义单元）以及细粒度特征对齐机制的具体实现（例如，使用哪些损失函数、如何进行特征对齐）是影响模型性能的关键因素。此外，强化学习阶段的奖励函数设计也至关重要，需要仔细考虑如何鼓励模型生成更准确、更逼真的图像。

📊 实验亮点

LVLM-Composer在LongBench-T2I基准测试中取得了显著的成果，通过Gemini-2.0-Flash和InternVL3-78B进行自动评估，在对象准确性、组合保真度和姿势准确性等关键组合维度上，显著优于现有最先进的基线模型。消融实验验证了分层语义规划模块和细粒度特征对齐机制的有效性。人工评估也表明，LVLM-Composer生成的图像在感知质量上更胜一筹。

🎯 应用场景

LVLM-Composer在多个领域具有广泛的应用前景。例如，它可以用于创建逼真的虚拟环境，用于游戏开发、电影制作和建筑可视化。此外，它还可以用于生成定制化的图像，用于广告、社交媒体和电子商务。该技术还有潜力应用于教育领域，例如生成用于教学的图像和动画。未来，该技术有望进一步发展，实现更高级的图像生成和编辑功能，例如根据用户的意愿修改图像的风格、内容和布局。

📄 摘要（原文）

The burgeoning field of generative artificial intelligence has fundamentally reshaped our approach to content creation, with Large Vision-Language Models (LVLMs) standing at its forefront. While current LVLMs have demonstrated impressive capabilities in text-to-image generation, they often falter when confronted with complex textual descriptions demanding precise compositional understanding and visual planning. This limitation particularly impacts the accurate rendering of multiple objects, their attributes, spatial relationships, and specific poses within intricate scenes, as evidenced by benchmarks like LongBench-T2I. To address these challenges, we introduce LVLM-Composer, a novel 10-billion parameter scale LVLM specifically engineered for enhanced compositional image synthesis. Our method incorporates a Hierarchical Semantic Planning Module for structured prompt decomposition and a Fine-Grained Feature Alignment Mechanism for precise visual guidance during generation. We propose a multi-stage training paradigm, featuring Hierarchical Semantic-Visual Grounding Pre-training and Compositional Planning Reinforcement Learning with Self-Correction, to instill robust compositional reasoning. Extensive experiments on the LongBench-T2I benchmark, utilizing automatic evaluation by Gemini-2.0-Flash and InternVL3-78B, demonstrate LVLM-Composer's superior performance across critical compositional dimensions including object accuracy, composition fidelity, and pose accuracy, significantly outperforming state-of-the-art baselines. An in-depth ablation study further validates the indispensable contribution of our proposed modules, while human evaluations confirm the perceptual superiority of our generated images. LVLM-Composer represents a significant step towards truly controllable and compositionally accurate open-ended text-to-image generation.