Goal Conditioned Reinforcement Learning for Photo Finishing Tuning
作者: Jiarui Wu, Yujin Wang, Lingen Li, Zhang Fan, Tianfan Xue
分类: cs.GR, cs.CV
发布日期: 2025-03-10
备注: 38th Conference on Neural Information Processing Systems (NeurIPS 2024)
期刊: Advances in Neural Information Processing Systems 37 (2024): 46294-46318
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出基于目标条件强化学习的照片修饰参数自动调节方法
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 目标条件强化学习 照片修饰 图像处理 参数调节 自动化 黑盒优化
📋 核心要点
- 现有照片修饰参数调节方法效率低或依赖难以训练的可微代理，限制了其应用。
- 提出一种基于目标条件强化学习的框架，将照片修饰流程视为黑盒，直接优化参数。
- 实验表明，该方法仅需10次查询即可找到理想参数，显著优于传统优化方法。
📝 摘要（中文）
本文提出了一种新颖的基于目标条件强化学习的框架，用于高效地调节照片修饰流程的参数，例如Adobe Lightroom或Darktable。现有方法要么使用零阶优化，当参数集增大时速度较慢，要么依赖于目标修饰流程的可微代理，这难以训练。为了克服这些挑战，我们的方法不依赖任何代理，并将照片修饰流程视为黑盒。利用训练好的强化学习策略，可以在仅10次查询内有效地找到所需的参数集，而基于优化的方法通常需要200次查询。此外，我们的架构利用目标图像来指导管道参数的迭代调整，从而可以灵活地以像素对齐的目标图像、风格图像或任何其他视觉上可表示的目标为条件。我们在照片修饰调整和照片风格化调整任务上进行了详细的实验，证明了我们方法的优势。
🔬 方法详解
问题定义：照片修饰参数调节旨在自动化Adobe Lightroom或Darktable等软件中的手动调节过程。现有方法主要存在两个痛点：一是基于零阶优化，当参数数量增加时，优化速度显著下降；二是依赖于目标修饰流程的可微代理，但训练这些代理模型通常非常困难，导致性能受限。因此，如何高效且无需可微代理地进行照片修饰参数调节是一个关键问题。
核心思路：本文的核心思路是将照片修饰参数调节问题建模为一个目标条件强化学习问题。通过将目标图像作为条件，强化学习智能体可以学习如何根据当前图像和目标图像，迭代地调整修饰参数，最终使修饰后的图像尽可能接近目标图像。这种方法避免了对照片修饰流程进行可微建模的需求，将其视为一个黑盒环境。
技术框架：整体框架包含一个强化学习智能体和一个照片修饰管道（例如Lightroom）。智能体接收当前图像和目标图像作为输入，输出一组参数调整动作。这些动作被应用于照片修饰管道，生成新的图像。智能体根据新图像与目标图像的差异获得奖励，并利用这些奖励更新其策略。该过程迭代进行，直到修饰后的图像足够接近目标图像，或者达到最大迭代次数。
关键创新：该方法最重要的创新点在于将目标条件强化学习应用于照片修饰参数调节，并成功地将照片修饰管道视为黑盒。与现有方法相比，无需训练可微代理，降低了复杂性，提高了泛化能力。此外，目标条件的设计使得该方法可以灵活地适应不同的目标，例如像素对齐的目标图像、风格图像等。
关键设计：智能体采用Actor-Critic架构，Actor网络负责生成参数调整动作，Critic网络负责评估当前状态的价值。奖励函数的设计至关重要，通常基于修饰后图像与目标图像之间的感知差异（例如LPIPS距离）。Actor和Critic网络可以使用卷积神经网络（CNN）或Transformer等结构。参数调整动作可以是离散的（例如增加或减少某个参数），也可以是连续的（直接设置参数值）。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在照片修饰调整和照片风格化调整任务上均取得了显著的性能提升。与基于优化的方法相比，该方法仅需10次查询即可找到理想的参数集，而基于优化的方法通常需要200次查询。这表明该方法具有更高的效率和更好的性能。
🎯 应用场景
该研究成果可应用于自动化照片编辑软件，例如Adobe Lightroom或移动端的照片美化App。它可以帮助用户快速将照片调整到理想状态，无需手动调整大量参数。此外，该方法还可以应用于照片风格迁移、图像增强等领域，具有广泛的应用前景和商业价值。
📄 摘要（原文）
Photo finishing tuning aims to automate the manual tuning process of the photo finishing pipeline, like Adobe Lightroom or Darktable. Previous works either use zeroth-order optimization, which is slow when the set of parameters increases, or rely on a differentiable proxy of the target finishing pipeline, which is hard to train. To overcome these challenges, we propose a novel goal-conditioned reinforcement learning framework for efficiently tuning parameters using a goal image as a condition. Unlike previous approaches, our tuning framework does not rely on any proxy and treats the photo finishing pipeline as a black box. Utilizing a trained reinforcement learning policy, it can efficiently find the desired set of parameters within just 10 queries, while optimization based approaches normally take 200 queries. Furthermore, our architecture utilizes a goal image to guide the iterative tuning of pipeline parameters, allowing for flexible conditioning on pixel-aligned target images, style images, or any other visually representable goals. We conduct detailed experiments on photo finishing tuning and photo stylization tuning tasks, demonstrating the advantages of our method. Project website: https://openimaginglab.github.io/RLPixTuner/.