DGIQA: Depth-guided Feature Attention and Refinement for Generalizable Image Quality Assessment

📄 arXiv: 2505.24002v1 📥 PDF

作者: Vaishnav Ramesh, Junliang Liu, Haining Wang, Md Jahidul Islam

分类: cs.CV

发布日期: 2025-05-29

备注: 18 pages

💡 一句话要点

提出DGIQA以解决无参考图像质量评估中的泛化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无参考图像质量评估 深度引导机制 特征学习 多模态融合 Transformer-CNN桥接 自然失真评估 计算机视觉

📋 核心要点

  1. 现有的无参考图像质量评估方法在处理未见自然失真时缺乏有效的泛化能力。
  2. 本文提出的Depth-CAR机制通过引入场景深度信息和空间特征，增强了特征学习的辨别力。
  3. 实验结果显示，DGIQA在多个基准数据集上实现了最先进的性能，尤其在自然图像失真评估中表现优异。

📝 摘要（中文）

在无参考图像质量评估（NR-IQA）中，从人类主观感知学习的一个长期挑战是缺乏对未见自然失真的客观泛化能力。为此，本文集成了一种新颖的深度引导交叉注意力和精炼机制（Depth-CAR），将场景深度和空间特征提炼为结构感知表示，从而改善NR-IQA。这一方法引入了物体显著性和场景相对对比度的知识，以实现更具辨别力的特征学习。此外，我们提出了TCB（Transformer-CNN桥接）概念，将来自Transformer主干的高层全局上下文依赖与通过一组层次化卷积神经网络（CNN）捕获的局部空间特征融合。实验结果表明，DGIQA模型在合成和真实基准数据集上均实现了最先进的性能，尤其在跨数据集评估和自然图像失真（如低光照、雾霾和镜头光晕）方面超越了现有模型。

🔬 方法详解

问题定义：本文旨在解决无参考图像质量评估中对未见自然失真的泛化能力不足的问题。现有方法往往无法有效处理各种自然失真，导致评估结果不准确。

核心思路：论文提出通过深度引导交叉注意力和精炼机制（Depth-CAR）来提取场景深度和空间特征，从而生成结构感知的特征表示。这种设计使得模型能够更好地理解图像中的物体显著性和相对对比度。

技术框架：DGIQA的整体架构包括Depth-CAR和TCB模块。Depth-CAR负责提取和精炼特征，而TCB则将Transformer的全局上下文信息与CNN的局部特征进行融合，形成多模态注意力机制。

关键创新：最重要的创新在于Depth-CAR和TCB的结合，前者通过深度信息提升特征学习的辨别力，后者则有效融合了全局和局部特征。这一组合显著提升了模型在不同失真场景下的表现。

关键设计：在模型设计中，采用了多层次的CNN结构以捕捉局部特征，同时在损失函数中引入了针对特征选择的注意力机制，以提高训练效率和推理速度。

📊 实验亮点

DGIQA模型在多个基准数据集上实现了最先进的性能，尤其在跨数据集评估中表现突出。与现有模型相比，DGIQA在低光照、雾霾和镜头光晕等自然失真场景下的评估准确率显著提高，具体提升幅度达到X%（具体数据未知）。

🎯 应用场景

该研究的潜在应用领域包括图像处理、计算机视觉和自动化质量评估等。DGIQA模型能够在各种自然失真条件下提供更准确的图像质量评估，具有重要的实际价值，尤其是在图像增强、视频监控和医疗影像分析等领域。未来，该技术可能推动更智能的图像处理系统的发展。

📄 摘要（原文）

A long-held challenge in no-reference image quality assessment (NR-IQA) learning from human subjective perception is the lack of objective generalization to unseen natural distortions. To address this, we integrate a novel Depth-Guided cross-attention and refinement (Depth-CAR) mechanism, which distills scene depth and spatial features into a structure-aware representation for improved NR-IQA. This brings in the knowledge of object saliency and relative contrast of the scene for more discriminative feature learning. Additionally, we introduce the idea of TCB (Transformer-CNN Bridge) to fuse high-level global contextual dependencies from a transformer backbone with local spatial features captured by a set of hierarchical CNN (convolutional neural network) layers. We implement TCB and Depth-CAR as multimodal attention-based projection functions to select the most informative features, which also improve training time and inference efficiency. Experimental results demonstrate that our proposed DGIQA model achieves state-of-the-art (SOTA) performance on both synthetic and authentic benchmark datasets. More importantly, DGIQA outperforms SOTA models on cross-dataset evaluations as well as in assessing natural image distortions such as low-light effects, hazy conditions, and lens flares.