Evaluating the Evaluators: Diagnosing Large Multimodal Models for AI-Generated Image Assessment

📄 arXiv: 2609.37576v1 📥 PDF

作者: Yu Zhao, Jiarui Wang, Huiyu Duan, Ye Zhao, Jutao Tang, Juntong Wang, Guangtao Zhai, Xiongkuo Min

分类: cs.CV

发布日期: 2026-09-29

💡 一句话要点

提出SQUARE-Bench以解决AI生成图像评估的全面性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 AI生成图像 评估基准 语义理解 质量感知 责任检测 细粒度分类 生成模型优化

📋 核心要点

  1. 现有的AI生成图像评估方法无法全面捕捉生成图像的细节和责任问题，导致评估结果的局限性。
  2. 本文提出SQUARE-Bench基准，通过系统评估LMM在语义、质量、真实性和责任四个方面的能力，填补现有评估的空白。
  3. 实验结果表明，顶级模型在评估性能上已超越人类专家，但不同模型间在细粒度推理和领域特定的鲁棒性上仍存在显著差异。

📝 摘要（中文）

随着文本到图像生成技术的快速发展，评估生成图像的质量变得至关重要。然而，传统评估指标无法捕捉细粒度的对齐和生成伪影。尽管大型多模态模型（LMMs）被广泛应用于评估，但现有基准往往孤立地研究语义理解、质量感知和真实性识别，忽视了责任检测。为填补这一空白，本文提出了SQUARE-Bench，一个系统评估LMM作为AI生成图像评估者的综合基准，涵盖语义、质量、真实性和责任四个方面，并引入了38个子维度的细粒度分类。通过对23000张图像的广泛实验，发现顶级专有模型如Gemini-3-Pro的表现已超越单个专家基线，但模型间的性能差距仍显著。

🔬 方法详解

问题定义：本文旨在解决现有AI生成图像评估方法的不足，特别是缺乏对生成图像的全面性和责任检测的评估。传统方法无法有效捕捉细粒度的生成特征和潜在的伦理问题。

核心思路：通过引入SQUARE-Bench基准，系统性地评估LMM在多个维度上的能力，提供一个全面的评估框架，确保对AI生成图像的多方面理解和分析。

技术框架：SQUARE-Bench的整体架构包括四个主要模块：语义、质量、真实性和责任评估。每个模块下又细分为38个子维度，涵盖了对近10K张AI生成图像的全面评估。

关键创新：最重要的创新在于提出了一个细粒度的分类体系，能够全面评估LMM的评估能力，尤其是在责任检测方面的系统性分析，与现有方法相比，提供了更为全面的视角。

关键设计：在设计中，采用了精心策划的问题-答案对来注释图像，确保评估的准确性和有效性。此外，实验中使用了23个LMM进行对比，确保了结果的可靠性和广泛适用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，顶级专有模型如Gemini-3-Pro在评估性能上已超越单个专家基线，表现出显著的优势。然而，模型间在细粒度推理和领域特定鲁棒性方面仍存在显著差异，提示未来研究的方向。

🎯 应用场景

该研究的潜在应用领域包括AI生成内容的质量控制、内容审核、以及生成模型的迭代优化。通过提供全面的评估工具，SQUARE-Bench能够帮助开发者和研究人员更好地理解和改进生成模型，推动AI技术的负责任应用。

📄 摘要（原文）

With the rapid advancement of text-to-image (T2I) generation, robust evaluation becomes critical yet challenging, as traditional metrics fail to capture fine-grained alignment and generative artifacts. While large multimodal models (LMMs) are increasingly adopted as evaluators, existing benchmarks typically study semantic understanding, quality perception, and authenticity identification in isolation, while largely neglecting responsibility detection. This leaves a gap in unified and comprehensive validation. To bridge this gap, we introduce SQUARE-Bench, a comprehensive benchmark that systematically evaluates LMM capabilities as evaluators of AI-generated images across four aspects: Semantics, Quality, Authenticity, and Responsibility. SQUARE-Bench introduces a granular taxonomy of 38 sub-dimensions to evaluate nearly 10K AI-generated images sampled from 22 diverse models, ranging from legacy to state-of-the-art generators, complemented by over 3K real-world images. The images are annotated with curated question-answering pairs. Extensive experiments on 23 LMMs reveal that top proprietary models, such as Gemini-3-Pro, already outperform the individual human expert baseline. However, the performance gap between models remains significant, exhibiting notable disparities in fine-grained inference and domain-specific robustness. Beyond benchmarking, we conduct a proof-of-concept study of LMM-guided iterative editing, in which dimension-specific LMMs provide diagnostic feedback to fixed image editors. The resulting guided system yields selective improvements in semantics, authenticity, and responsibility, while exhibiting a consistent visual-quality trade-off. SQUARE-Bench can serve as both a diagnostic tool for characterizing LMM evaluator capabilities and studying their use in T2I generation refinement. The benchmark and dataset will be released upon publication.