Real-Time Person Image Synthesis Using a Flow Matching Model

📄 arXiv: 2505.03562v1 📥 PDF

作者: Jiwoo Jeong, Kirok Kim, Wooju Kim, Nam-Joon Kim

分类: cs.CV, cs.AI

发布日期: 2025-05-06

💡 一句话要点

提出基于Flow Matching的RPFM模型，实现实时姿态引导的人物图像合成。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 姿态引导人物图像合成 Flow Matching 实时生成 潜在空间 条件生成

📋 核心要点

  1. 现有姿态引导的人物图像合成方法，特别是基于扩散模型的方法，虽然图像质量高，但采样速度慢，难以满足实时应用需求。
  2. 论文提出基于Flow Matching的生成模型RPFM，通过更快的训练和采样，以及在潜在空间中的条件生成，提升图像合成速度。
  3. 实验结果表明，RPFM在DeepFashion数据集上实现了接近实时的采样速度，并在图像质量上与现有方法保持了可比性。

📝 摘要（中文）

本文提出了一种基于Flow Matching (FM) 的生成模型，用于实现实时姿态引导的人物图像合成 (PGPIS)。PGPIS在诸多现实应用中扮演关键角色，如手语视频生成、AR/VR、游戏和直播。在这些场景中，实时性至关重要。尽管最近基于扩散模型的方法在PGPIS中展现了卓越的图像质量，但其缓慢的采样速度阻碍了在时间敏感型应用中的部署。为了解决这一挑战，我们提出的方法能够实现更快、更稳定和更高效的训练和采样。此外，该模型支持条件生成，并可在潜在空间中运行，使其特别适用于对速度和质量都有严格要求的实时PGPIS应用。我们在广泛使用的DeepFashion数据集上评估了所提出的方法，结果表明RPFM在保持与最先进模型相当的性能的同时，实现了接近实时的采样速度。我们的方法牺牲了生成图像精度上可接受的轻微下降，换取了两倍以上的生成速度提升，从而确保了实时性能。

🔬 方法详解

问题定义：论文旨在解决姿态引导的人物图像合成（PGPIS）任务中，现有方法（特别是基于扩散模型的方法）推理速度慢，无法满足实时应用需求的问题。现有方法虽然能生成高质量的图像，但其复杂的采样过程导致延迟过高，例如在直播场景中生成手语视频时，无法提供即时反馈。

核心思路：论文的核心思路是利用Flow Matching (FM) 模型替代传统的扩散模型。FM模型通过学习连续的向量场，能够实现更快速、更稳定的采样过程。此外，论文还利用了潜在空间的操作，进一步提升了生成速度。

技术框架：RPFM模型的整体框架包含以下几个主要模块：1) 编码器：将源图像和目标姿态编码到潜在空间；2) Flow Matching模块：基于编码后的潜在表示，学习从噪声到目标图像的连续向量场；3) 解码器：将潜在空间中的表示解码为最终的合成图像。整个流程是端到端可训练的。

关键创新：最重要的技术创新点在于将Flow Matching模型引入到PGPIS任务中。与扩散模型相比，FM模型的采样过程更加高效，因为它直接学习了从噪声到目标图像的映射，而不需要像扩散模型那样进行多次迭代采样。此外，在潜在空间中进行操作也降低了计算复杂度。

关键设计：论文中使用了条件Flow Matching，即向量场的学习是基于源图像和目标姿态的。损失函数包括Flow Matching损失和对抗损失，以保证生成图像的质量和真实感。具体的网络结构细节（如编码器和解码器的具体实现）在论文中应该有更详细的描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RPFM模型在DeepFashion数据集上实现了接近实时的采样速度，相比于state-of-the-art模型，速度提升超过两倍。虽然在图像质量上略有下降，但下降幅度在可接受范围内，并且在实时性要求高的场景下，速度的提升更具价值。

🎯 应用场景

该研究成果可广泛应用于需要实时人物图像合成的领域，如在线游戏、AR/VR应用、虚拟直播、手语视频生成等。通过快速生成与用户姿态同步的虚拟形象，可以提升用户体验，增强互动性。未来，该技术还有潜力应用于虚拟试衣、远程医疗等领域。

📄 摘要（原文）

Pose-Guided Person Image Synthesis (PGPIS) generates realistic person images conditioned on a target pose and a source image. This task plays a key role in various real-world applications, such as sign language video generation, AR/VR, gaming, and live streaming. In these scenarios, real-time PGPIS is critical for providing immediate visual feedback and maintaining user immersion.However, achieving real-time performance remains a significant challenge due to the complexity of synthesizing high-fidelity images from diverse and dynamic human poses. Recent diffusion-based methods have shown impressive image quality in PGPIS, but their slow sampling speeds hinder deployment in time-sensitive applications. This latency is particularly problematic in tasks like generating sign language videos during live broadcasts, where rapid image updates are required. Therefore, developing a fast and reliable PGPIS model is a crucial step toward enabling real-time interactive systems. To address this challenge, we propose a generative model based on flow matching (FM). Our approach enables faster, more stable, and more efficient training and sampling. Furthermore, the proposed model supports conditional generation and can operate in latent space, making it especially suitable for real-time PGPIS applications where both speed and quality are critical. We evaluate our proposed method, Real-Time Person Image Synthesis Using a Flow Matching Model (RPFM), on the widely used DeepFashion dataset for PGPIS tasks. Our results show that RPFM achieves near-real-time sampling speeds while maintaining performance comparable to the state-of-the-art models. Our methodology trades off a slight, acceptable decrease in generated-image accuracy for over a twofold increase in generation speed, thereby ensuring real-time performance.