Solving Inverse Problems with Flow-based Models via Model Predictive Control

📄 arXiv: 2601.23231v1 📥 PDF

作者: George Webber, Alexander Denker, Riccardo Barbano, Andrew J Reader

分类: eess.IV, cs.LG

发布日期: 2026-01-30

💡 一句话要点

提出MPC-Flow，通过模型预测控制解决Flow模型逆问题，实现高效条件生成。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: Flow模型 逆问题 模型预测控制 条件生成 图像恢复

📋 核心要点

  1. 现有Flow模型在条件生成任务中，直接优化轨迹计算量大，内存需求高，限制了其应用。
  2. MPC-Flow将逆问题分解为一系列控制子问题，利用模型预测控制在推理时进行引导，降低计算复杂度。
  3. 实验表明，MPC-Flow在图像恢复任务上表现出色，并能扩展到大型Flow模型，且无需训练。

📝 摘要（中文）

基于Flow的生成模型为逆问题提供了强大的无条件先验，但引导其动态进行条件生成仍然具有挑战性。最近的工作将Flow模型中免训练的条件生成视为一个最优控制问题；然而，解决由此产生的轨迹优化在计算和内存上都非常密集，需要通过Flow动态进行微分或伴随求解。我们提出了MPC-Flow，一个模型预测控制框架，它将基于Flow的生成模型的逆问题求解公式化为一系列控制子问题，从而在推理时实现实用的基于最优控制的引导。我们提供了将MPC-Flow与底层最优控制目标联系起来的理论保证，并展示了不同的算法选择如何产生一系列引导算法，包括避免通过生成模型轨迹进行反向传播的方案。我们在基准图像恢复任务（包括线性和非线性设置，如图像修复、去模糊和超分辨率）上评估了MPC-Flow，并通过在消费级硬件上对FLUX.2 (32B)进行量化设置下的免训练引导，证明了强大的性能和对大规模最先进架构的可扩展性。

🔬 方法详解

问题定义：论文旨在解决使用Flow-based生成模型进行逆问题求解时，条件生成过程计算和内存开销大的问题。现有方法通常需要通过整个Flow模型的轨迹进行反向传播，这对于大型模型来说是不可行的。因此，如何在保证生成质量的前提下，降低计算复杂度是关键挑战。

核心思路：论文的核心思路是将逆问题求解转化为一个模型预测控制（MPC）问题。通过将整个生成过程分解为一系列较小的控制子问题，并在每个子问题中进行局部优化，从而避免了对整个轨迹进行反向传播。这种方法降低了计算复杂度和内存需求，使得在消费级硬件上使用大型Flow模型成为可能。

技术框架：MPC-Flow框架主要包含以下几个阶段：1) 将逆问题建模为最优控制问题；2) 将最优控制问题分解为一系列模型预测控制子问题；3) 在每个子问题中，使用优化算法（例如梯度下降）找到最优控制策略；4) 将每个子问题的结果串联起来，得到最终的生成结果。该框架允许选择不同的算法来解决每个控制子问题，从而在计算效率和生成质量之间进行权衡。

关键创新：MPC-Flow的关键创新在于将模型预测控制引入到Flow-based生成模型的逆问题求解中。与传统的直接优化方法相比，MPC-Flow避免了对整个生成模型轨迹进行反向传播，从而显著降低了计算复杂度和内存需求。此外，MPC-Flow还提供了一种灵活的框架，允许选择不同的算法来解决每个控制子问题，从而适应不同的应用场景。

关键设计：MPC-Flow的关键设计包括：1) 如何将逆问题建模为最优控制问题；2) 如何选择合适的控制子问题分解策略；3) 如何选择合适的优化算法来解决每个控制子问题；4) 如何设计合适的奖励函数来引导生成过程。论文中提到可以使用不同的算法选择来产生一系列引导算法，包括避免通过生成模型轨迹进行反向传播的方案。具体参数设置和网络结构取决于所使用的Flow模型和具体的逆问题。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在图像修复、去模糊和超分辨率等基准任务上验证了MPC-Flow的有效性。实验结果表明，MPC-Flow能够实现与现有方法相当甚至更好的性能，同时显著降低了计算复杂度和内存需求。特别值得一提的是，MPC-Flow成功地在消费级硬件上对FLUX.2 (32B)进行了免训练引导，展示了其对大规模模型的强大可扩展性。

🎯 应用场景

MPC-Flow在图像恢复领域具有广泛的应用前景，例如图像修复、去模糊、超分辨率等。此外，该方法还可以应用于其他逆问题，例如信号重建、医学图像重建等。通过降低计算复杂度和内存需求，MPC-Flow使得在资源受限的设备上使用大型Flow模型成为可能，从而推动了生成模型在实际应用中的普及。

📄 摘要（原文）

Flow-based generative models provide strong unconditional priors for inverse problems, but guiding their dynamics for conditional generation remains challenging. Recent work casts training-free conditional generation in flow models as an optimal control problem; however, solving the resulting trajectory optimisation is computationally and memory intensive, requiring differentiation through the flow dynamics or adjoint solves. We propose MPC-Flow, a model predictive control framework that formulates inverse problem solving with flow-based generative models as a sequence of control sub-problems, enabling practical optimal control-based guidance at inference time. We provide theoretical guarantees linking MPC-Flow to the underlying optimal control objective and show how different algorithmic choices yield a spectrum of guidance algorithms, including regimes that avoid backpropagation through the generative model trajectory. We evaluate MPC-Flow on benchmark image restoration tasks, spanning linear and non-linear settings such as in-painting, deblurring, and super-resolution, and demonstrate strong performance and scalability to massive state-of-the-art architectures via training-free guidance of FLUX.2 (32B) in a quantised setting on consumer hardware.