FlowTool: Controlling Tool Parameter in Image Retouching via Flow Matching

📄 arXiv: 2609.35673v1 📥 PDF

作者: Thanh-Long V. Le, Steven Walton, Seunghyun Yoon, Branislav Kveton, Trung Bui, Eunho Yang, Viet Lai

分类: cs.CV

发布日期: 2026-09-28

💡 一句话要点

提出FlowTool以解决工具参数控制问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像编辑 流匹配 多模态学习 条件生成 深度学习

📋 核心要点

  1. 现有的工具基础图像编辑方法依赖于自回归模型，导致推理效率低下和内存消耗高。
  2. 本文提出FlowTool框架，通过流匹配直接建模工具参数分布，提升了编辑效率和效果。
  3. 实验结果表明，FlowTool在多个基准测试中表现优异，推理延迟减少至少50倍，内存需求降低近2倍。

📝 摘要（中文）

工具基础的图像编辑（图像修饰）通常使用自回归多模态大语言模型（MLLMs）来顺序生成推理、工具选择和参数值。本文提出了一种新颖的工具基础图像编辑方法，将任务框架设定为流匹配问题。我们引入FlowTool，一个直接建模高质量工具参数分布的框架，该分布以输入图像和用户指令为条件，使用条件整流流。FlowTool结合了用于多模态理解的视觉-语言模型骨干和扩散变换器参数生成器，将高斯噪声转化为编辑计划。通过两阶段的监督流匹配课程进行训练，随后进行基于奖励的后训练。FlowTool在MMArt-Bench、FlowTool-Eval、ArtEdit-Bench和MIT-Adobe5K等数据集上，显著优于专门的MLLM编辑代理和专有MLLM，同时在无参考评估中保持竞争力。此外，FlowTool显著提高了推理效率，延迟减少至少50倍，同时所需内存比比较基线少近2倍。这些结果表明，工具基础的图像编辑可以有效地建模为结构化连续编辑参数的条件生成，而无需自回归推理。

🔬 方法详解

问题定义：现有的工具基础图像编辑方法通常依赖自回归多模态大语言模型，这导致推理过程缓慢且内存消耗高。用户在选择工具和参数时的灵活性受到限制，难以实现高效的图像修饰。

核心思路：本文提出FlowTool，将工具参数控制视为流匹配问题，通过条件整流流直接建模高质量工具参数分布，从而提高编辑效率和效果。该方法避免了传统自回归模型的推理瓶颈。

技术框架：FlowTool框架包括两个主要模块：视觉-语言模型骨干用于多模态理解，以及扩散变换器参数生成器，将高斯噪声转化为具体的编辑计划。训练过程分为两阶段，首先是监督流匹配课程，然后进行基于奖励的后训练。

关键创新：FlowTool的核心创新在于将工具参数控制问题转化为条件生成任务，利用流匹配技术实现高效的工具参数建模。这一方法与传统的自回归推理方法本质上不同，显著提升了推理速度和内存效率。

关键设计：在FlowTool中，采用了条件整流流来建模工具参数分布，设计了适应性损失函数以优化生成效果。此外，扩散变换器的结构经过精心设计，以确保在生成过程中保持高质量的编辑计划。通过两阶段训练策略，FlowTool能够有效地学习用户指令与图像内容之间的关系。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

FlowTool在多个基准测试中表现出色，显著优于专门的MLLM编辑代理和专有MLLM。在MMArt-Bench、FlowTool-Eval、ArtEdit-Bench和MIT-Adobe5K上，FlowTool的参考性能显著提升，同时推理延迟减少至少50倍，内存需求降低近2倍，展示了其在工具基础图像编辑中的优势。

🎯 应用场景

FlowTool的研究成果在图像编辑、数字艺术创作和用户交互设计等领域具有广泛的应用潜力。其高效的工具参数控制能力可以帮助设计师和艺术家更快速地实现创意，提升工作效率。此外，该方法的创新性思路也为未来的多模态生成任务提供了新的研究方向。

📄 摘要（原文）

Tool-based image editing (image retouching) is commonly formulated with autoregressive multimodal large language models (MLLMs) that sequentially generate reasoning, tool selections, and parameter values. In this work, we present a novel approach to tool-based image editing by framing the task as a flow matching problem. We introduce FlowTool, a framework that directly models the distribution of high-quality tool parameters conditioned on the input image and user instruction using conditional rectified flow. FlowTool combines a vision-language model backbone for multimodal understanding with a Diffusion Transformer parameter generator that transforms Gaussian noise into an editing plan. We train FlowTool with a two-stage supervised flow-matching curriculum, followed by reward-based post-training. Across MMArt-Bench, FlowTool-Eval, ArtEdit-Bench, and MIT-Adobe5K, FlowTool achieves significantly stronger reference-based performance than specialized MLLM editing agents and proprietary MLLMs, while remaining competitive with proprietary models under reference-free evaluation. Moreover, FlowTool significantly improves inference efficiency, reducing latency by at least $50\times$ while requiring nearly $2\times$ less memory than the compared baselines. These results demonstrate that tool-based image editing can be effectively modeled as conditional generation over structured continuous editing parameters, without autoregressive reasoning.