ConceptMix++: Leveling the Playing Field in Text-to-Image Benchmarking via Iterative Prompt Optimization
作者: Haosheng Gan, Berk Tinaz, Mohammad Shahab Sepehri, Zalan Fabian, Mahdi Soltanolkotabi
分类: cs.CV, cs.LG
发布日期: 2025-07-04
备注: An earlier version appeared in the CVPR 2025 Workshop on Generative Models for Computer Vision
💡 一句话要点
ConceptMix++通过迭代提示优化，提升文本到图像生成模型的公平基准测试。
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 文本到图像生成 基准测试 提示词优化 视觉-语言模型 公平性评估
📋 核心要点
- 现有文本到图像生成模型的评估基准依赖于固定提示词，忽略了模型对不同提示词的敏感性，导致评估结果存在偏差。
- ConceptMix++通过迭代优化提示词，利用视觉-语言模型反馈，系统性地改进提示，从而更公平地评估模型的生成能力。
- 实验表明，优化后的提示词显著提升了模型的组合生成性能，揭示了模型先前被低估的能力，并促进了模型间的公平比较。
📝 摘要（中文）
现有的文本到图像（T2I）基准测试使用固定的提示词评估模型，这可能低估了模型的真实生成能力，并因提示词敏感性而产生偏差，从而使某些模型受益而另一些模型受损。我们提出了ConceptMix++，一个通过迭代提示优化来解耦提示词措辞和视觉生成能力的框架。在ConceptMix的基础上，我们的方法结合了一个多模态优化流程，利用视觉-语言模型反馈来系统地优化提示词。通过对多个扩散模型进行的大量实验，我们表明，优化的提示词显著提高了组合生成性能，揭示了先前隐藏的模型能力，并实现了更公平的T2I模型比较。我们的分析表明，某些视觉概念（如空间关系和形状）比其他概念更能从优化中受益，这表明现有的基准测试系统地低估了模型在这些类别中的性能。此外，我们发现优化后的提示词具有很强的跨模型可迁移性，表明不同模型对有效提示词措辞的偏好是相似的。这些发现表明，固定的基准测试方法可能严重低估了模型的真实能力，而我们的框架为未来的开发提供了更准确的评估和见解。
🔬 方法详解
问题定义：现有的文本到图像生成模型（T2I）的评估基准测试方法，通常使用固定的提示词。这种方法忽略了模型对提示词的敏感性，导致评估结果可能无法真实反映模型的生成能力。不同的提示词措辞可能对不同的模型产生不同的影响，从而造成评估偏差，使得某些模型在特定提示词下表现更好，而另一些模型则受到不利影响。因此，需要一种更公平、更准确的评估方法，以消除提示词带来的偏差。
核心思路：ConceptMix++的核心思路是通过迭代优化提示词，来解耦提示词措辞和视觉生成能力。该方法利用视觉-语言模型（VLM）的反馈，系统地改进提示词，使其能够更好地激发模型的生成能力。通过优化提示词，可以消除因提示词措辞不当而导致的性能瓶颈，从而更准确地评估模型的真实生成能力。这种方法的核心在于，不是简单地使用固定的提示词，而是通过不断地调整和优化提示词，找到最能发挥模型潜力的提示词。
技术框架：ConceptMix++的整体框架是一个迭代优化流程，主要包含以下几个阶段：1) 初始提示词生成：使用初始的、未优化的提示词。2) 图像生成：使用T2I模型生成图像。3) 视觉-语言模型反馈：使用VLM（如CLIP）评估生成图像与提示词之间的匹配程度，并提供反馈。4) 提示词优化：根据VLM的反馈，调整和优化提示词。5) 迭代：重复步骤2-4，直到提示词达到预定的优化目标或达到最大迭代次数。这个框架的核心是利用VLM的反馈来指导提示词的优化，从而逐步提高生成图像的质量和与提示词的匹配程度。
关键创新：ConceptMix++的关键创新在于其多模态优化流程，该流程利用视觉-语言模型（VLM）的反馈来迭代地优化提示词。与传统的固定提示词评估方法不同，ConceptMix++能够动态地调整提示词，从而更好地适应不同模型的特点和能力。此外，ConceptMix++还能够揭示模型在特定视觉概念（如空间关系和形状）方面的潜在能力，这些能力在传统的评估方法中可能被低估。这种迭代优化和多模态反馈的结合，使得ConceptMix++能够更准确、更公平地评估T2I模型的性能。
关键设计：ConceptMix++的关键设计包括：1) VLM的选择：选择合适的VLM至关重要，VLM需要能够准确地评估生成图像与提示词之间的匹配程度。CLIP是一个常用的选择。2) 优化目标：定义明确的优化目标，例如最大化生成图像与提示词之间的CLIP相似度。3) 优化算法：选择合适的优化算法来调整提示词，例如梯度下降或进化算法。4) 迭代次数：设置合理的迭代次数，以平衡优化效果和计算成本。5) 提示词表示：提示词可以使用离散的文本表示或连续的嵌入表示，不同的表示方式可能需要不同的优化算法。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用ConceptMix++优化后的提示词能够显著提高文本到图像生成模型的组合生成性能。例如，在某些视觉概念（如空间关系和形状）方面，模型的性能提升幅度超过了10%。此外，研究还发现，优化后的提示词具有很强的跨模型可迁移性，这意味着不同模型对有效的提示词措辞具有相似的偏好。这些结果表明，ConceptMix++能够揭示模型先前被低估的能力，并促进模型间的公平比较。
🎯 应用场景
ConceptMix++可应用于文本到图像生成模型的公平基准测试和模型改进。通过优化提示词，可以更准确地评估模型的真实生成能力，并发现模型的潜在优势和不足。此外，该方法还可以用于指导提示词工程，帮助用户更好地利用文本到图像生成模型，生成高质量的图像。该研究的未来影响在于推动文本到图像生成技术的进步，并促进更公平、更可靠的模型评估。
📄 摘要（原文）
Current text-to-image (T2I) benchmarks evaluate models on rigid prompts, potentially underestimating true generative capabilities due to prompt sensitivity and creating biases that favor certain models while disadvantaging others. We introduce ConceptMix++, a framework that disentangles prompt phrasing from visual generation capabilities by applying iterative prompt optimization. Building on ConceptMix, our approach incorporates a multimodal optimization pipeline that leverages vision-language model feedback to refine prompts systematically. Through extensive experiments across multiple diffusion models, we show that optimized prompts significantly improve compositional generation performance, revealing previously hidden model capabilities and enabling fairer comparisons across T2I models. Our analysis reveals that certain visual concepts -- such as spatial relationships and shapes -- benefit more from optimization than others, suggesting that existing benchmarks systematically underestimate model performance in these categories. Additionally, we find strong cross-model transferability of optimized prompts, indicating shared preferences for effective prompt phrasing across models. These findings demonstrate that rigid benchmarking approaches may significantly underrepresent true model capabilities, while our framework provides more accurate assessment and insights for future development.