ColorFM: An Optimization-to-Learning Framework for Color Transfer via Flow Matching

📄 arXiv: 2607.07119v1 📥 PDF

作者: Yuhang He, Kai Zhang, Xiaoming Li, Du Chen, Jian Yang

分类: cs.CV

发布日期: 2026-07-08

备注: Accepted to ECCV 2026

💡 一句话要点

提出ColorFM框架以解决颜色传输中的不一致性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 颜色传输 流匹配 优化框架 深度学习 计算机视觉 图像处理 语义一致性

📋 核心要点

  1. 现有颜色传输方法在全局映射、语义一致性和视觉质量上存在明显不足，导致传输效果不理想。
  2. ColorFM框架通过流匹配将颜色传输问题转化为像素分布的传输，结合优化与学习，提升了传输精度。
  3. 实验结果显示ColorFM-L在视觉质量和结构保真度上显著优于现有方法，展现了优化与推理的有效结合。

📝 摘要（中文）

颜色传输旨在将源图像的颜色分布与参考图像对齐，同时保持结构和语义的一致性。然而，现有方法常常面临全局映射不准确、语义错位和视觉伪影等问题。为了解决这些问题，我们提出了ColorFM，一个优化到学习的框架。ColorFM通过流匹配将颜色传输重新表述为沿速度场传输像素分布。具体而言，我们引入了ColorFM-O，一个实例特定的优化方案，通过语义先验引导的层次颜色耦合来拟合速度场。通过数值积分诱导的流轨迹，ColorFM-O生成精确且语义一致的颜色传输结果，并生成高质量的配对数据作为伪监督。在此基础上，我们设计了ColorFM-L，一个在生成的配对上训练的高效前馈模型。通过隐式状态建模，ColorFM-L提取深层语义特征以预测双向线性化传输的流参数，确保准确的颜色传输。大量实验表明，ColorFM-L在视觉质量、结构保真度和语义一致性方面优于现有最先进的方法，成功结合了优化的准确性与前馈推理的速度。

🔬 方法详解

问题定义：本论文旨在解决颜色传输中存在的全局映射不准确、语义错位和视觉伪影等问题，这些问题影响了颜色传输的效果和质量。

核心思路：论文提出的ColorFM框架通过流匹配将颜色传输视为沿速度场传输像素分布的过程，结合在线优化与离线推理，以提高颜色传输的准确性和一致性。

技术框架：ColorFM框架分为两个主要模块：ColorFM-O和ColorFM-L。ColorFM-O是一个实例特定的优化方案，利用层次颜色耦合和语义先验拟合速度场；ColorFM-L是一个高效的前馈模型，基于生成的配对数据进行训练。

关键创新：ColorFM的核心创新在于将颜色传输问题重新表述为流匹配问题，通过优化与学习的结合，显著提升了颜色传输的精度和效率。

关键设计：在ColorFM-O中，采用了层次颜色耦合和语义先验来指导速度场的拟合；ColorFM-L则通过隐式状态建模提取深层语义特征，预测流参数以实现双向线性化传输。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ColorFM-L在视觉质量、结构保真度和语义一致性方面均优于现有最先进的方法，具体性能提升幅度达到了XX%（具体数据待补充），展示了其在颜色传输领域的强大能力。

🎯 应用场景

该研究的潜在应用领域包括图像处理、计算机视觉和虚拟现实等。通过提高颜色传输的准确性和效率，ColorFM框架可以在图像编辑、风格迁移和增强现实等场景中发挥重要作用，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Color transfer aims to align the color distribution of a source image with that of a reference image while preserving structural and semantic consistency. However, existing methods often suffer from inaccurate global mapping, semantic misalignment, and visual artifacts. To address these issues, we propose ColorFM, an optimization-to-learning framework. ColorFM connects online optimization to offline inference by reformulating color transfer as the transport of pixel distributions along velocity fields via Flow Matching. Specifically, we introduce ColorFM-O, an instance-specific optimization scheme that fits the velocity field through hierarchical color coupling guided by semantic priors. By numerically integrating the induced flow trajectories, ColorFM-O produces precise and semantically consistent color transfer results, while generating high-quality paired data as pseudo-supervision. Building upon this, we design ColorFM-L, an efficient feed-forward model trained on the generated pairs. Through implicit state modeling, ColorFM-L extracts deep semantic features to predict flow parameters for bidirectional linearized transport, ensuring accurate color transfer. Extensive experiments demonstrate that ColorFM-L outperforms state-of-the-art methods in visual quality, structural fidelity, and semantic consistency, successfully combining the accuracy of optimization with the speed of feed-forward inference.