Depicting Beyond Scores: Advancing Image Quality Assessment through Multi-modal Language Models

📄 arXiv: 2312.08962v3 📥 PDF

作者: Zhiyuan You, Zheyuan Li, Jinjin Gu, Zhenfei Yin, Tianfan Xue, Chao Dong

分类: cs.CV

发布日期: 2023-12-14 (更新: 2024-07-14)

备注: Accepted to ECCV2024, Camera Ready Version

💡 一句话要点

提出DepictQA，利用多模态大语言模型进行类人图像质量评估，突破传统评分限制。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像质量评估 多模态大语言模型 自然语言描述 分层任务框架 多源数据训练 图像标签 类人评估

📋 核心要点

  1. 传统图像质量评估方法依赖于分数，无法提供详细的、类人的图像质量描述和推理。
  2. DepictQA利用多模态大语言模型，通过语言描述图像内容和失真，模拟人类的评估过程。
  3. 通过多源数据训练和图像标签设计，DepictQA在多个基准测试中超越了传统方法，并可扩展到非参考应用。

📝 摘要（中文）

本文提出了一种名为DepictQA的图像质量评估方法，旨在克服传统基于分数的评估方法的局限性。DepictQA利用多模态大语言模型（MLLM）实现基于语言的、类人的图像质量详细评估。与传统的图像质量评估（IQA）方法依赖于分数不同，DepictQA能够描述性和比较性地解释图像内容和失真，更贴近人类的推理过程。为了构建DepictQA模型，我们建立了一个分层任务框架，并收集了一个多模态IQA训练数据集。为了应对训练数据有限和多图像处理的挑战，我们提出了使用多源训练数据和专门的图像标签。这些设计使得DepictQA在多个基准测试中表现优于基于分数的方法。此外，与通用MLLM相比，DepictQA可以生成更准确的推理描述性语言。我们还证明了我们的全参考数据集可以扩展到非参考应用。这些结果展示了多模态IQA方法的研究潜力。代码和数据集可在https://depictqa.github.io获取。

🔬 方法详解

问题定义：传统图像质量评估（IQA）方法主要依赖于输出一个质量分数，缺乏对图像质量的细粒度描述和解释。这些方法难以捕捉人类对图像质量的感知，也无法提供关于图像失真类型和程度的详细信息。现有方法的痛点在于其评估结果缺乏可解释性，难以指导图像增强和修复。

核心思路：DepictQA的核心思路是利用多模态大语言模型（MLLM）的强大能力，将图像质量评估转化为一个语言描述任务。通过让模型观察图像并生成自然语言描述，可以更全面、更细致地评估图像质量，并提供人类可理解的解释。这种方法模拟了人类的视觉感知和推理过程，从而更准确地反映了主观图像质量。

技术框架：DepictQA采用分层任务框架，主要包含以下几个阶段：1) 图像编码：使用视觉编码器（如CLIP）提取图像特征。2) 特征融合：将图像特征与文本提示（如“描述图像质量”）进行融合。3) 语言生成：使用MLLM（如LLaVA）生成图像质量的自然语言描述。4) 训练优化：使用多源数据集和图像标签，对模型进行训练和优化，提高其描述准确性和推理能力。

关键创新：DepictQA最重要的创新点在于将图像质量评估从传统的评分任务转化为语言描述任务。这种转变使得模型能够提供更丰富、更可解释的评估结果，更贴近人类的感知。此外，DepictQA还提出了多源数据训练和图像标签设计，有效解决了训练数据有限和多图像处理的挑战。

关键设计：DepictQA的关键设计包括：1) 多源数据集：利用多个现有的IQA数据集，并进行数据增强和清洗，构建大规模训练数据集。2) 图像标签：为图像添加描述性的标签，如“模糊”、“噪声”等，帮助模型更好地理解图像失真类型。3) 分层任务框架：将图像质量评估分解为图像编码、特征融合和语言生成等多个子任务，简化了模型训练和优化过程。4) 损失函数：采用交叉熵损失函数，优化模型生成的语言描述与人工标注之间的相似度。

📊 实验亮点

DepictQA在多个基准测试中表现优于传统的基于分数的IQA方法。实验结果表明，DepictQA能够生成更准确、更详细的图像质量描述，与人类的感知更加一致。此外，DepictQA的全参考数据集可以扩展到非参考应用，进一步提高了其通用性和实用性。具体性能提升数据在论文中有详细展示。

🎯 应用场景

DepictQA具有广泛的应用前景，可用于图像增强、图像修复、图像压缩等领域。它可以帮助开发者更好地理解图像质量问题，并设计更有效的算法来改善图像质量。此外，DepictQA还可以应用于图像质量监控、图像搜索和图像推荐等领域，提高用户体验和应用性能。未来，DepictQA有望成为一种通用的图像质量评估工具，推动相关领域的发展。

📄 摘要（原文）

We introduce a Depicted image Quality Assessment method (DepictQA), overcoming the constraints of traditional score-based methods. DepictQA allows for detailed, language-based, human-like evaluation of image quality by leveraging Multi-modal Large Language Models (MLLMs). Unlike conventional Image Quality Assessment (IQA) methods relying on scores, DepictQA interprets image content and distortions descriptively and comparatively, aligning closely with humans' reasoning process. To build the DepictQA model, we establish a hierarchical task framework, and collect a multi-modal IQA training dataset. To tackle the challenges of limited training data and multi-image processing, we propose to use multi-source training data and specialized image tags. These designs result in a better performance of DepictQA than score-based approaches on multiple benchmarks. Moreover, compared with general MLLMs, DepictQA can generate more accurate reasoning descriptive languages. We also demonstrate that our full-reference dataset can be extended to non-reference applications. These results showcase the research potential of multi-modal IQA methods. Codes and datasets are available in https://depictqa.github.io.