STR-Match: Matching SpatioTemporal Relevance Score for Training-Free Video Editing

📄 arXiv: 2506.22868v1 📥 PDF

作者: Junsung Lee, Junoh Kang, Bohyung Han

分类: cs.CV, cs.AI

发布日期: 2025-06-28

备注: 15 pages, 9 figures, 3 tables

💡 一句话要点

STR-Match：通过时空相关性匹配实现免训练视频编辑

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 视频编辑 时空相关性 免训练学习 扩散模型 潜在空间优化

📋 核心要点

  1. 现有文本引导视频编辑方法在时序一致性、运动扭曲和领域转换方面存在局限性，主要原因是缺乏对时空像素相关性的充分建模。
  2. STR-Match通过引入STR分数来捕捉相邻帧之间的时空像素相关性，并将其用于引导潜在空间优化，从而实现高质量的视频编辑。
  3. 实验结果表明，STR-Match在视觉质量和时空一致性方面均优于现有方法，尤其是在处理显著的领域转换时表现出色。

📝 摘要（中文）

本文提出STR-Match，一种免训练的视频编辑算法，旨在解决现有文本引导视频编辑方法中存在的时序不一致性、运动扭曲以及领域转换受限等问题。该算法通过新颖的STR分数引导潜在空间优化，生成视觉效果良好且时空一致的视频。STR分数利用文本到视频（T2V）扩散模型中的2D空间注意力和1D时间模块来捕获相邻帧之间的时空像素相关性，避免了计算成本高昂的3D注意力机制。STR-Match集成到具有潜在掩码的潜在优化框架中，生成时间上一致且视觉上忠实的视频，即使在显著的领域转换下也能保持强大的性能，同时保留源视频的关键视觉属性。大量实验表明，STR-Match在视觉质量和时空一致性方面始终优于现有方法。

🔬 方法详解

问题定义：现有文本引导的视频编辑方法常常面临时间一致性差、运动扭曲以及领域转换能力不足的问题。这些问题源于对视频帧之间时空像素相关性的建模不足，导致编辑后的视频在时间维度上不够稳定，视觉效果不自然。

核心思路：STR-Match的核心在于利用文本到视频扩散模型中的现有组件（2D空间注意力和1D时间模块）来计算一个名为STR（SpatioTemporal Relevance）的分数，该分数能够有效地衡量相邻帧之间像素级别的时空相关性。通过优化潜在空间，并以STR分数作为指导，可以生成在时间上更加一致的编辑视频。

技术框架：STR-Match算法主要包含以下几个步骤：首先，利用文本到视频扩散模型提取视频的潜在表示。然后，计算STR分数，该分数反映了相邻帧之间像素级别的时空相关性。接下来，在潜在空间中进行优化，以STR分数作为指导，同时结合潜在掩码来控制编辑区域。最后，将优化后的潜在表示解码回视频帧，得到编辑后的视频。

关键创新：STR-Match的关键创新在于提出了STR分数，它能够有效地捕捉视频帧之间的时空相关性，而无需引入计算复杂度高的3D注意力机制。此外，该方法是免训练的，这意味着它不需要额外的训练数据，可以直接应用于各种视频编辑任务。

关键设计：STR分数的计算基于文本到视频扩散模型中的2D空间注意力和1D时间模块。具体来说，2D空间注意力用于捕捉帧内像素之间的关系，而1D时间模块用于捕捉帧间像素之间的关系。STR分数是这两个模块输出的加权组合。在潜在空间优化过程中，使用潜在掩码来指定需要编辑的区域，并使用STR分数来约束优化过程，以确保编辑后的视频在时间上保持一致。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，STR-Match在视觉质量和时空一致性方面均优于现有的文本引导视频编辑方法。例如，在处理显著的领域转换时，STR-Match能够生成更加逼真和自然的视频，其FID分数和CLIP分数等指标均显著优于对比方法。定性结果也表明，STR-Match能够更好地保持视频的时序一致性，减少运动扭曲。

🎯 应用场景

STR-Match具有广泛的应用前景，可用于电影制作、广告设计、社交媒体内容创作等领域。它可以帮助用户轻松地编辑视频，例如改变视频的风格、替换视频中的对象、添加新的视觉效果等，而无需专业的视频编辑技能。该研究的未来影响在于推动视频编辑技术的普及化和智能化。

📄 摘要（原文）

Previous text-guided video editing methods often suffer from temporal inconsistency, motion distortion, and-most notably-limited domain transformation. We attribute these limitations to insufficient modeling of spatiotemporal pixel relevance during the editing process. To address this, we propose STR-Match, a training-free video editing algorithm that produces visually appealing and spatiotemporally coherent videos through latent optimization guided by our novel STR score. The score captures spatiotemporal pixel relevance across adjacent frames by leveraging 2D spatial attention and 1D temporal modules in text-to-video (T2V) diffusion models, without the overhead of computationally expensive 3D attention mechanisms. Integrated into a latent optimization framework with a latent mask, STR-Match generates temporally consistent and visually faithful videos, maintaining strong performance even under significant domain transformations while preserving key visual attributes of the source. Extensive experiments demonstrate that STR-Match consistently outperforms existing methods in both visual quality and spatiotemporal consistency.