Foundation Models Boost Low-Level Perceptual Similarity Metrics

📄 arXiv: 2409.07650v2 📥 PDF

作者: Abhijay Ghildyal, Nabajeet Barman, Saman Zadtootaghaj

分类: cs.CV

发布日期: 2024-09-11 (更新: 2025-01-12)

备注: ICASSP 2025, Code: https://github.com/abhijay9/ZS-IQA

💡 一句话要点

利用中间层特征，无需训练即可提升全参考图像质量评估的感知相似性度量

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像质量评估 全参考IQA 感知相似性 基础模型 中间层特征

📋 核心要点

  1. 现有FR-IQA方法通常需要对预训练网络的特征进行微调或额外处理，以使相似性得分与人类判断对齐。
  2. 本文核心思想是利用预训练基础模型（如CNN或Transformer）的中间层特征，而非仅使用最后一层或嵌入。
  3. 实验表明，利用中间层特征计算距离度量，无需训练即可超越传统和已学习的IQA度量方法。

📝 摘要（中文）

本文针对基于深度学习的全参考图像质量评估（FR-IQA）问题，提出了一种新颖的方法。该方法利用预训练的CNN或Transformer网络提取失真图像和参考图像之间的特征，并计算这些特征之间的距离作为感知相似性得分。与以往主要依赖于最终层或嵌入进行质量评估的基于基础模型的方法不同，本文探索了基础模型的中间层特征在低级感知相似性度量中的潜力。实验结果表明，中间层特征更有效。更重要的是，该方法无需任何训练，仅通过计算特征之间的距离，即可超越传统和最先进的已学习度量。

🔬 方法详解

问题定义：论文旨在提升全参考图像质量评估（FR-IQA）的性能，特别是在感知相似性度量方面。现有基于深度学习的FR-IQA方法，通常需要对预训练网络的特征进行额外的微调或训练，才能使最终的相似性得分与人类的感知对齐。这增加了计算成本和模型复杂度。

核心思路：论文的核心思路是利用预训练的“基础模型”（Foundation Models）的中间层特征。作者认为，这些中间层特征已经包含了丰富的图像信息，可以直接用于计算图像之间的感知相似性，而无需额外的训练或微调。这样可以简化流程，并提高效率。

技术框架：该方法的技术框架非常简洁。首先，使用预训练的基础模型（如CNN或Transformer）提取参考图像和失真图像的中间层特征。然后，计算这些特征之间的距离（例如，L1距离、L2距离、余弦相似度等）。最后，将该距离作为图像质量的评估指标。整个过程无需任何训练。

关键创新：该方法最重要的创新点在于，它首次探索了基础模型的中间层特征在低级感知相似性度量中的潜力。以往的研究主要集中在使用基础模型的最后一层或嵌入层进行质量评估，而忽略了中间层特征的价值。本文证明了中间层特征在感知相似性度量方面具有更好的表现。

关键设计：该方法的关键设计在于选择合适的中间层特征和距离度量。论文中可能探讨了不同层级的特征以及不同的距离度量方式对最终性能的影响。具体的参数设置（例如，选择哪些中间层，使用哪种距离度量）可能需要根据具体的实验结果进行调整。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，利用基础模型的中间层特征，无需任何训练，即可在全参考图像质量评估任务上取得优异的性能，超越了传统的和最先进的已学习度量方法。具体的性能提升幅度可能在论文中通过与其他方法的对比实验给出，例如在特定数据集上的指标（如SROCC、PLCC）的提升。

🎯 应用场景

该研究成果可广泛应用于图像质量评估、图像压缩、图像增强、图像恢复等领域。在视频监控、医学影像、遥感图像等领域，可以利用该方法快速准确地评估图像质量，提高图像处理算法的性能，并为用户提供更好的视觉体验。未来，该方法有望进一步扩展到视频质量评估等更复杂的任务中。

📄 摘要（原文）

For full-reference image quality assessment (FR-IQA) using deep-learning approaches, the perceptual similarity score between a distorted image and a reference image is typically computed as a distance measure between features extracted from a pretrained CNN or more recently, a Transformer network. Often, these intermediate features require further fine-tuning or processing with additional neural network layers to align the final similarity scores with human judgments. So far, most IQA models based on foundation models have primarily relied on the final layer or the embedding for the quality score estimation. In contrast, this work explores the potential of utilizing the intermediate features of these foundation models, which have largely been unexplored so far in the design of low-level perceptual similarity metrics. We demonstrate that the intermediate features are comparatively more effective. Moreover, without requiring any training, these metrics can outperform both traditional and state-of-the-art learned metrics by utilizing distance measures between the features.