iDETEX: Empowering MLLMs for Intelligent DETailed EXplainable IQA

📄 arXiv: 2510.17332v1 📥 PDF

作者: Zhaoran Zhao, Xinli Yue, Jianhui Sun, Yuhao Xie, Tao Shao, Liangchao Yao, Fan Xia, Yuetang Deng

分类: cs.CV

发布日期: 2025-10-20

备注: Accepted to ICCV 2025 Workshop

💡 一句话要点

提出iDETEX，赋能多模态大语言模型进行智能、详细、可解释的图像质量评估

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像质量评估 多模态大语言模型 可解释性 质量定位 视觉语言模型

📋 核心要点

  1. 现有图像质量评估方法缺乏对图像质量细节的深入理解和可解释性，难以满足实际应用需求。
  2. iDETEX通过统一的多模态大语言模型，同时进行质量定位、感知和描述，实现更细粒度和可解释的评估。
  3. 在ViDA-UGC基准测试中，iDETEX在所有子任务上均达到SOTA，并在ICCV MIPI 2025挑战赛中获得第一名。

📝 摘要（中文）

图像质量评估（IQA）已经从标量质量预测发展到更具可解释性、更符合人类评估范式的方向。本文提出了iDETEX，一个统一的多模态大语言模型（MLLM），旨在解决详细且可解释的IQA这一新兴挑战。iDETEX能够同时执行三个关键任务：质量定位、感知和描述。为了促进这些异构子任务之间的高效和泛化训练，我们设计了一套特定于任务的离线增强模块和一个数据混合策略。此外，还辅以在线增强策略，以充分利用多源监督。我们在大规模ViDA-UGC基准上验证了该方法，iDETEX在所有子任务中均实现了最先进的性能。我们的模型在ICCV MIPI 2025详细图像质量评估挑战赛中名列第一，证明了其在提供准确且可解释的质量评估方面的有效性和鲁棒性。

🔬 方法详解

问题定义：现有图像质量评估方法主要输出标量质量分数，缺乏对图像质量缺陷的定位、感知和详细描述，难以提供可解释的评估结果。这限制了其在实际应用中的价值，例如图像增强、图像修复等任务需要更细粒度的质量信息。

核心思路：iDETEX的核心思路是利用多模态大语言模型（MLLM）的强大能力，将图像质量评估问题转化为一个多任务学习问题，同时进行质量定位（grounding）、感知（perception）和描述（description）。通过统一的模型架构和训练策略，实现对图像质量的全面理解和可解释的评估。

技术框架：iDETEX的整体框架包含以下几个主要模块：1) 图像编码器：用于提取图像的视觉特征。2) 文本编码器：用于编码文本描述信息。3) 多模态融合模块：将视觉特征和文本特征进行融合。4) 任务特定解码器：针对质量定位、感知和描述三个任务，分别设计不同的解码器。训练过程中，采用离线数据增强和在线数据增强相结合的方式，充分利用多源监督信息。

关键创新：iDETEX最重要的技术创新点在于其统一的多模态大语言模型架构，能够同时处理质量定位、感知和描述三个异构任务。通过精心设计的任务特定解码器和数据增强策略，实现了对图像质量的全面理解和可解释的评估。与现有方法相比，iDETEX不仅能够预测图像的整体质量，还能够定位图像中的质量缺陷，并生成详细的文本描述。

关键设计：在数据增强方面，采用了特定于任务的离线增强模块，例如，对于质量定位任务，通过随机裁剪和缩放图像来增加训练数据的多样性。在线增强方面，采用了MixUp等方法，进一步提高模型的泛化能力。损失函数方面，针对不同的任务，采用了不同的损失函数，例如，对于质量定位任务，采用了交叉熵损失函数。具体网络结构细节未知。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

iDETEX在ViDA-UGC基准测试中，在质量定位、感知和描述三个子任务上均取得了最先进的性能。此外，iDETEX在ICCV MIPI 2025详细图像质量评估挑战赛中获得第一名，证明了其在实际应用中的有效性和鲁棒性。具体的性能提升数据未知。

🎯 应用场景

iDETEX可应用于图像增强、图像修复、图像压缩等领域，通过提供详细的质量评估报告，指导算法优化和参数调整。此外，还可用于图像质量监控、图像搜索等应用，提升用户体验和效率。未来，iDETEX有望成为图像质量评估领域的重要工具，推动相关技术的发展。

📄 摘要（原文）

Image Quality Assessment (IQA) has progressed from scalar quality prediction to more interpretable, human-aligned evaluation paradigms. In this work, we address the emerging challenge of detailed and explainable IQA by proposing iDETEX-a unified multimodal large language model (MLLM) capable of simultaneously performing three key tasks: quality grounding, perception, and description. To facilitate efficient and generalizable training across these heterogeneous subtasks, we design a suite of task-specific offline augmentation modules and a data mixing strategy. These are further complemented by online enhancement strategies to fully exploit multi-sourced supervision. We validate our approach on the large-scale ViDA-UGC benchmark, where iDETEX achieves state-of-the-art performance across all subtasks. Our model ranks first in the ICCV MIPI 2025 Detailed Image Quality Assessment Challenge, demonstrating its effectiveness and robustness in delivering accurate and interpretable quality assessments.