EvoIR-Agent: Self-Evolving Image Restoration Agentic System via Experience-Driven Learning

📄 arXiv: 2605.22208v1 📥 PDF

作者: Kailin Zhuang, Jiawei Wu, Zhi Jin

分类: cs.CV

发布日期: 2026-05-21

💡 一句话要点

提出EvoIR-Agent，通过经验驱动学习实现自进化图像修复智能体系统

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像修复 多模态大语言模型 智能体系统 经验驱动学习 自进化 分层经验池 零样本学习

📋 核心要点

  1. 现有基于多模态大语言模型的图像修复智能体在零样本规划时缺乏经验，导致试错成本高昂。
  2. EvoIR-Agent通过构建分层经验池和自进化机制，实现对工具选择和去除顺序的有效指导。
  3. 实验结果表明，EvoIR-Agent在性能和效率上均优于现有方法，实现了Pareto最优平衡。

📝 摘要（中文）

本文提出了一种名为EvoIR-Agent的自进化图像修复智能体系统，旨在解决多模态大语言模型驱动的图像修复智能体在复杂退化场景中零样本规划失败的问题。现有方法存在训练方法泛化性差和无训练方法效率低的困境。EvoIR-Agent系统地构建了图像修复智能体的经验组成部分，并构建了一个分层经验池，以实现对不同工具和去除顺序的粗到细的指导。此外，引入了一种自进化机制，利用累积的记录从头开始更新经验池，从而显著提高性能和效率。大量实验表明，EvoIR-Agent在全参考指标上取得了显著领先，并在性能和效率之间实现了卓越的Pareto最优平衡。

🔬 方法详解

问题定义：论文旨在解决多模态大语言模型（MLLM）驱动的图像修复智能体在复杂退化场景下的应用难题。现有的基于训练的方法虽然推理效率高，但难以适应新的工具或退化类型；而无训练的方法虽然兼容性好，但由于经验不足，仍然需要大量的试错，效率低下。

核心思路：论文的核心思路是构建一个能够自我进化的图像修复智能体，该智能体通过不断积累和学习经验，从而在面对新的退化场景时能够更有效地选择合适的修复工具和操作顺序。这种方法旨在结合训练方法的高效性和无训练方法的灵活性。

技术框架：EvoIR-Agent的技术框架主要包含以下几个部分：1) 经验组件构建：系统地定义了图像修复智能体的经验组成部分，包括工具选择、操作顺序等。2) 分层经验池：构建了一个分层结构的经验池，用于存储和管理经验数据，实现从粗到细的指导。3) 自进化机制：设计了一种自进化机制，利用智能体在修复过程中产生的记录，不断更新和完善经验池。

关键创新：EvoIR-Agent的关键创新在于其自进化机制和分层经验池的设计。自进化机制使得智能体能够从自身的经验中学习，不断提高修复能力，而分层经验池则能够提供更细粒度的指导，从而提高修复效率。与现有方法相比，EvoIR-Agent无需预训练，也避免了大量的试错，实现了性能和效率的平衡。

关键设计：论文中关于经验池的具体结构和更新策略是关键设计。例如，经验池可能包含不同粒度的信息，如全局的修复策略和局部的工具选择偏好。自进化机制可能采用强化学习或监督学习的方法，根据修复结果调整经验池中的权重或概率分布。具体的损失函数和网络结构（如果涉及）在论文中应该有详细描述，但摘要中未提及。

📊 实验亮点

实验结果表明，EvoIR-Agent在全参考指标上取得了显著领先，并在性能和效率之间实现了卓越的Pareto最优平衡。具体性能数据和对比基线需要在论文中查找，摘要中未提供具体的数值提升。

🎯 应用场景

EvoIR-Agent具有广泛的应用前景，可用于老照片修复、视频监控图像增强、医学图像处理等领域。该研究的实际价值在于提高了图像修复的自动化程度和修复质量，降低了人工干预的需求。未来，该技术有望应用于更多复杂的图像处理任务，例如自动驾驶、遥感图像分析等。

📄 摘要（原文）

Multimodal Large Language Model (MLLM)-driven image restoration agent demonstrates effectiveness in degradation coupling scenarios by flexibly selecting tools and determining removal orders. However, their zero-shot planning often fails without experience, necessitating severe trial-and-error overhead to achieve satisfactory outcomes. Currently, two paradigms are employed to address this issue, yet a dilemma persists: Training-based methods embed intrinsic experience into parameters, achieving high inference efficiency but lacking compatibility with new tools or degradation. In contrast, training-free methods utilize explicit experience storage for compatibility but still incur trial-and-error overhead due to naive experience. To resolve the dilemma, we propose EvoIR-Agent, which first systematically formulates the experience components of a training-free image restoration agent. Subsequently, a hierarchical experience pool is constructed, which enables coarse-to-fine guidance for diverse tools and removal orders. Furthermore, a self-evolving mechanism is introduced to update the pool from scratch using accumulated records, thereby greatly improving performance and efficiency. Extensive experiments reveal that EvoIR-Agent achieves a significant lead in the full reference metrics and yields a remarkable Pareto-optimal balance between performance and efficiency compared to the state-of-the-art methods.