GIR-Bench: Versatile Benchmark for Generating Images with Reasoning

📄 arXiv: 2510.11026v1 📥 PDF

作者: Hongxiang Li, Yaowei Li, Bin Lin, Yuwei Niu, Yuhang Yang, Xiaoshuang Huang, Jiayin Cai, Xiaolong Jiang, Yao Hu, Long Chen

分类: cs.CV

发布日期: 2025-10-13

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

GIR-Bench：用于评估图像生成模型推理能力的综合基准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像生成 推理能力 多模态学习 基准测试 统一模型 视觉任务 理解-生成一致性

📋 核心要点

  1. 现有统一多模态模型在理解和生成之间缺乏严格的推理能力评估基准。
  2. GIR-Bench通过理解-生成一致性、文本到图像生成和多步编辑推理三个方面综合评估模型。
  3. 实验表明，统一模型在推理驱动的视觉任务中表现更好，但理解和生成之间仍存在差距。

📝 摘要（中文）

统一多模态模型集成了大型语言模型的推理能力以及图像理解和生成能力，在高级多模态智能方面显示出巨大的潜力。然而，社区仍然缺乏一个严格的、以推理为中心的基准，以系统地评估理解和生成之间的一致性，以及它们在复杂视觉任务中的泛化潜力。为此，我们引入了GIR-Bench，这是一个全面的基准，从三个互补的角度评估统一模型。首先，我们研究理解-生成一致性（GIR-Bench-UGC），询问模型是否可以在理解和生成任务中一致地利用相同的知识。其次，我们研究模型是否可以执行以推理为中心的文本到图像生成，这需要应用逻辑约束和隐式知识来生成忠实的视觉内容（GIR-Bench-T2I）。第三，我们评估模型是否可以处理编辑中的多步推理（GIR-Bench-Edit）。对于每个子集，我们精心设计了针对每个任务量身定制的不同任务特定评估流程。这实现了细粒度和可解释的评估，同时减轻了来自流行的MLLM-as-a-Judge范式的偏差。对各种统一模型和仅生成系统的广泛消融研究表明：虽然统一模型更能够执行推理驱动的视觉任务，但它们在理解和生成之间仍然存在持续的差距。GIR-Bench的数据和代码可在https://hkust-longgroup.github.io/GIR-Bench获得。

🔬 方法详解

问题定义：现有统一多模态模型在图像生成任务中，尤其是在需要推理能力的场景下，缺乏系统性的评估。现有方法难以衡量模型在理解和生成之间的一致性，以及在复杂视觉任务中的泛化能力。这阻碍了多模态模型的发展和应用。

核心思路：GIR-Bench的核心思路是构建一个全面的、以推理为中心的基准，通过设计不同的任务和评估流程，从多个角度评估统一模型在图像生成任务中的推理能力。该基准旨在弥合理解和生成之间的差距，并促进模型在复杂视觉任务中的泛化。

技术框架：GIR-Bench包含三个主要组成部分：GIR-Bench-UGC（理解-生成一致性）、GIR-Bench-T2I（推理驱动的文本到图像生成）和GIR-Bench-Edit（多步编辑推理）。每个部分都包含一系列精心设计的任务和评估流程，用于评估模型在不同方面的推理能力。针对每个任务，设计了特定的评估指标和方法，以确保评估的准确性和可解释性。

关键创新：GIR-Bench的关键创新在于其综合性和以推理为中心的评估方法。它不仅关注模型的生成能力，更关注模型在理解和生成之间的一致性，以及在复杂视觉任务中的推理能力。此外，GIR-Bench还避免了使用MLLM作为评判器可能带来的偏差，而是采用了任务特定的评估流程。

关键设计：GIR-Bench-UGC通过对比模型在理解和生成任务中对相同知识的利用情况，评估理解-生成一致性。GIR-Bench-T2I要求模型根据文本描述生成符合逻辑约束和隐式知识的图像。GIR-Bench-Edit评估模型在多步编辑过程中的推理能力，例如，根据一系列指令逐步修改图像。具体参数设置和损失函数取决于所评估的模型和任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，统一模型在推理驱动的视觉任务中表现优于仅生成模型，但理解和生成之间仍然存在显著差距。GIR-Bench能够有效区分不同模型的推理能力，并为模型改进提供指导。该基准的细粒度评估流程能够减轻MLLM-as-a-Judge范式带来的偏差。

🎯 应用场景

GIR-Bench可用于评估和改进各种多模态模型，特别是在需要推理能力的图像生成任务中。潜在应用领域包括智能图像编辑、视觉问答、机器人导航和人机交互等。该基准有助于推动多模态模型在实际应用中的发展，并促进更智能、更可靠的视觉系统。

📄 摘要（原文）

Unified multimodal models integrate the reasoning capacity of large language models with both image understanding and generation, showing great promise for advanced multimodal intelligence. However, the community still lacks a rigorous reasoning-centric benchmark to systematically evaluate the alignment between understanding and generation, and their generalization potential in complex visual tasks. To this end, we introduce \textbf{GIR-Bench}, a comprehensive benchmark that evaluates unified models across three complementary perspectives. Firstly, we investigate understanding-generation consistency (GIR-Bench-UGC), asking whether models can consistently leverage the same knowledge in both understanding and generation tasks. Secondly, we investigate whether models can perform reasoning-centric text-to-image generation that requires applying logical constraints and implicit knowledge to generate faithful visual content (GIR-Bench-T2I). Thirdly, we evaluate whether models can handle multi-step reasoning in editing (GIR-Bench-Edit). For each subset, we carefully design different task-specific evaluation pipelines tailored for each task. This enables fine-grained and interpretable evaluation while mitigating biases from the prevalent MLLM-as-a-Judge paradigm. Extensive ablations over various unified models and generation-only systems have shown that: Although unified models are more capable of reasoning-driven visual tasks, they still exhibit a persistent gap between understanding and generation. The data and code for GIR-Bench are available at \href{https://hkust-longgroup.github.io/GIR-Bench}{https://hkust-longgroup.github.io/GIR-Bench}.