ClearAIR: A Human-Visual-Perception-Inspired All-in-One Image Restoration

📄 arXiv: 2601.02763v1 📥 PDF

作者: Xu Zhang, Huan Zhang, Guoli Wang, Qian Zhang, Lefei Zhang

分类: cs.CV

发布日期: 2026-01-06

备注: Accepted to AAAI 2026. Project page: https://github.com/House-yuyu/ClearAIR

💡 一句话要点

ClearAIR：受人类视觉感知启发的全能图像复原框架，有效解决现有方法过平滑和伪影问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 全能图像复原 图像复原 人类视觉感知 多模态大语言模型 图像质量评估 语义交叉注意力 自监督学习

📋 核心要点

  1. 现有全能图像复原方法过度依赖特定退化表示，易导致过平滑和伪影，缺乏对复杂退化的有效处理。
  2. ClearAIR受人类视觉感知启发，采用分层复原策略，结合多模态大语言模型和区域感知，实现更精确的图像复原。
  3. 实验结果表明，ClearAIR在合成和真实数据集上均表现出色，有效提升图像复原质量，减少伪影。

📝 摘要（中文）

全能图像复原(AiOIR)技术取得了显著进展，为复杂的真实世界退化提供了有希望的解决方案。然而，大多数现有方法严重依赖于特定于退化的表示，常常导致过度平滑和伪影。为了解决这个问题，我们提出了ClearAIR，这是一个新颖的AiOIR框架，灵感来自人类视觉感知(HVP)，并采用分层、由粗到精的复原策略设计。首先，利用早期HVP的全局优先性，我们采用基于多模态大型语言模型(MLLM)的图像质量评估(IQA)模型进行整体评估。与传统的IQA不同，我们的方法集成了跨模态理解，以更准确地表征复杂的复合退化。在此整体评估的基础上，我们引入了区域感知和任务识别流程。语义交叉注意力，利用语义引导单元，首先产生粗略的语义提示。在区域上下文的指导下，退化感知模块隐式地捕获特定于区域的退化特征，从而实现更精确的局部复原。最后，为了恢复精细细节，我们提出了一种内部线索重用机制。它以自监督的方式运行，挖掘和利用图像本身的内在信息，从而大大增强细节复原。实验结果表明，ClearAIR在各种合成和真实世界数据集上都取得了优异的性能。

🔬 方法详解

问题定义：论文旨在解决全能图像复原（AiOIR）中现有方法存在的过平滑和伪影问题。现有方法通常针对特定类型的图像退化进行优化，难以有效处理真实世界中复杂的、混合的退化情况，并且容易丢失图像的细节信息。

核心思路：ClearAIR的核心思路是模仿人类视觉感知（HVP）的过程，采用一种分层、由粗到精的复原策略。首先进行全局评估，然后关注局部区域的退化特征，最后恢复精细的图像细节。这种策略旨在更全面地理解和处理图像退化，从而提高复原质量。

技术框架：ClearAIR的整体框架包含以下几个主要模块： 1. 基于MLLM的图像质量评估（IQA）模型：用于全局评估图像质量，识别整体退化情况。 2. 区域感知和任务识别流程：通过语义交叉注意力机制，生成粗略的语义提示，引导后续的退化感知模块。 3. 退化感知模块：隐式地捕获特定区域的退化特征，实现更精确的局部复原。 4. 内部线索重用机制：以自监督的方式挖掘和利用图像本身的内在信息，增强细节复原。

关键创新：ClearAIR的关键创新在于： 1. 受人类视觉感知启发的分层复原策略：更符合人类视觉系统的工作方式，能够更有效地处理复杂的图像退化。 2. 基于MLLM的IQA模型：利用跨模态理解能力，更准确地表征复杂的复合退化。 3. 内部线索重用机制：通过自监督学习，充分利用图像自身的内在信息，提升细节复原效果。

关键设计： 1. 语义交叉注意力机制：利用语义引导单元生成粗略的语义提示，指导退化感知模块。 2. 退化感知模块：具体实现细节未知，但其目标是隐式地捕获特定区域的退化特征。 3. 内部线索重用机制：以自监督的方式运行，具体实现细节未知，但其目标是挖掘和利用图像本身的内在信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ClearAIR在多个合成和真实世界数据集上取得了优异的性能。具体性能数据未知，但论文强调ClearAIR能够有效减少过平滑和伪影，并在细节恢复方面有显著提升。实验结果表明，ClearAIR优于现有的全能图像复原方法。

🎯 应用场景

ClearAIR在图像增强、监控系统、医学影像处理、老照片修复等领域具有广泛的应用前景。该研究能够有效提升图像复原质量，减少伪影，提高视觉体验，具有重要的实际应用价值。未来，该技术有望应用于更多领域，例如视频修复、自动驾驶等。

📄 摘要（原文）

All-in-One Image Restoration (AiOIR) has advanced significantly, offering promising solutions for complex real-world degradations. However, most existing approaches rely heavily on degradation-specific representations, often resulting in oversmoothing and artifacts. To address this, we propose ClearAIR, a novel AiOIR framework inspired by Human Visual Perception (HVP) and designed with a hierarchical, coarse-to-fine restoration strategy. First, leveraging the global priority of early HVP, we employ a Multimodal Large Language Model (MLLM)-based Image Quality Assessment (IQA) model for overall evaluation. Unlike conventional IQA, our method integrates cross-modal understanding to more accurately characterize complex, composite degradations. Building upon this overall assessment, we then introduce a region awareness and task recognition pipeline. A semantic cross-attention, leveraging semantic guidance unit, first produces coarse semantic prompts. Guided by this regional context, a degradation-aware module implicitly captures region-specific degradation characteristics, enabling more precise local restoration. Finally, to recover fine details, we propose an internal clue reuse mechanism. It operates in a self-supervised manner to mine and leverage the intrinsic information of the image itself, substantially enhancing detail restoration. Experimental results show that ClearAIR achieves superior performance across diverse synthetic and real-world datasets.