M3-AGIQA: Multimodal, Multi-Round, Multi-Aspect AI-Generated Image Quality Assessment

📄 arXiv: 2502.15167v2 📥 PDF

作者: Chuan Cui, Kejiang Chen, Zhihua Wei, Wen Shen, Weiming Zhang, Nenghai Yu

分类: cs.CV

发布日期: 2025-02-21 (更新: 2025-06-04)

备注: 24 pages. This work has been submitted to the ACM for possible publication

🔗 代码/项目: GITHUB

💡 一句话要点

M3-AGIQA：多模态多轮多角度评估AI生成图像质量

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: AI生成图像质量评估 多模态学习 大型语言模型 图像描述 多轮评估

📋 核心要点

  1. 现有AI生成图像质量评估方法在感知质量、提示对应性和真实性方面存在不足，难以全面评估。
  2. M3-AGIQA利用多模态大语言模型，通过多轮评估和中间图像描述分析，实现更符合人类判断的图像质量评估。
  3. 实验表明，M3-AGIQA在多个基准测试中达到最先进的性能，并在跨数据集设置中表现出强大的泛化能力。

📝 摘要（中文）

人工智能生成图像（AIGI）模型的快速发展对图像质量评估提出了新的挑战，尤其是在感知质量、提示对应性和真实性这三个方面。为了应对这些挑战，我们提出了M3-AGIQA，这是一个综合框架，利用多模态大型语言模型（MLLM）对AI生成图像进行更符合人类判断的整体评估，涵盖视觉和文本领域。此外，我们的框架采用结构化的多轮评估过程，生成并分析中间图像描述，从而更深入地了解这三个方面。通过使模型输出更贴近人类判断，M3-AGIQA 提供了稳健且可解释的质量评分。在多个基准测试上的大量实验表明，我们的方法在测试数据集和各个方面都达到了最先进的性能，并且在大多数跨数据集设置中表现出强大的泛化能力。代码已在https://github.com/strawhatboy/M3-AGIQA上发布。

🔬 方法详解

问题定义：论文旨在解决AI生成图像质量评估问题，现有方法难以同时兼顾感知质量、提示对应性和真实性，并且缺乏可解释性。现有方法通常是单方面的评估，无法像人类一样综合考虑图像的各个方面。

核心思路：论文的核心思路是利用多模态大型语言模型（MLLM）的强大能力，模拟人类的评估过程。通过让 MLLM 观察图像并生成描述，然后基于描述进行多轮评估，从而更全面、更深入地理解图像的质量。这种方法旨在使模型输出更贴近人类的判断。

技术框架：M3-AGIQA 框架包含以下主要阶段：1) 图像输入：将 AI 生成的图像输入到 MLLM 中。2) 图像描述生成：MLLM 生成对图像的详细描述。3) 多轮评估：基于图像描述，进行多轮评估，每一轮关注不同的质量方面（感知质量、提示对应性、真实性）。4) 质量评分：综合多轮评估的结果，生成最终的质量评分。框架使用结构化的多轮评估过程，生成并分析中间图像描述，从而更深入地了解图像质量的各个方面。

关键创新：M3-AGIQA 的最重要创新在于其多模态、多轮、多角度的评估方式。与传统的单模态或单轮评估方法相比，M3-AGIQA 能够更全面地捕捉图像的质量特征，并提供更具解释性的评估结果。通过引入多轮评估，模型可以逐步细化对图像质量的理解，从而提高评估的准确性和可靠性。

关键设计：论文的关键设计包括：1) MLLM 的选择：选择具有强大视觉理解和文本生成能力的 MLLM。2) 多轮评估策略：设计针对感知质量、提示对应性和真实性的具体评估问题。3) 评分机制：设计合理的评分机制，将多轮评估结果综合成最终的质量评分。具体的参数设置、损失函数和网络结构等技术细节在论文中应该有更详细的描述（未知）。

📊 实验亮点

实验结果表明，M3-AGIQA 在多个基准测试中达到了最先进的性能，并在跨数据集设置中表现出强大的泛化能力。具体性能数据和对比基线需要在论文中查找（未知），但摘要强调了其在测试数据集和各个方面都达到了最先进的性能。

🎯 应用场景

M3-AGIQA 可应用于各种AI生成图像的质量评估场景，例如评估不同生成模型的性能、优化生成模型的参数、以及为用户提供图像质量反馈。该研究的实际价值在于提高AI生成图像的质量和可用性，未来影响包括促进AI生成内容的发展和应用。

📄 摘要（原文）

The rapid advancement of AI-generated image (AIGI) models presents new challenges for evaluating image quality, particularly across three aspects: perceptual quality, prompt correspondence, and authenticity. To address these challenges, we introduce M3-AGIQA, a comprehensive framework that leverages Multimodal Large Language Models (MLLMs) to enable more human-aligned, holistic evaluation of AI-generated images across both visual and textual domains. Besides, our framework features a structured multi-round evaluation process, generating and analyzing intermediate image descriptions to provide deeper insight into these three aspects. By aligning model outputs more closely with human judgment, M3-AGIQA delivers robust and interpretable quality scores. Extensive experiments on multiple benchmarks demonstrate that our method achieves state-of-the-art performance on tested datasets and aspects, and exhibits strong generalizability in most cross-dataset settings. Code is available at https://github.com/strawhatboy/M3-AGIQA.