Transforming Image Editors into Video Editors

📄 arXiv: 2610.11037v1 📥 PDF

作者: Feng Wang, Zijie Li, Ceyuan Yang, Alan Yuille, Peng Wang

分类: cs.CV

发布日期: 2026-10-08

备注: In NeurIPS 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于锚点生成的视频编辑方法以解决视频编辑复杂性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频编辑 图像编辑 锚点生成 时间一致性 内容保真度 扩散模型 机器学习 计算机视觉

📋 核心要点

  1. 现有的视频编辑方法通常需要昂贵的端到端训练，且在性能上存在局限性。
  2. 本文提出的锚点视频编辑（AVE）方法，通过将图像编辑器转化为视频编辑器，简化了视频编辑过程。
  3. 在IVEBench和VIE-Bench上的实验表明，AVE在多个指标上均优于现有方法，显示出良好的时间一致性和内容保真度。

📝 摘要（中文）

近年来，图像编辑系统在语义理解、视觉保真度和指令跟随能力方面取得了显著进展，而视频编辑仍然面临更高的难度和成本。本文提出了一种简单的替代方案，通过基于锚点的生成将强大的图像编辑器转变为视频编辑器。我们的关键见解是，视频编辑可以分解为两个子问题：编辑稀疏的关键帧集和在时间上传播这些编辑。基于此，我们提出了锚点视频编辑（AVE）框架，首先由强大的图像编辑器对选定的关键帧进行复合编辑，然后由运动引导的图像到视频扩散模型生成最终视频，将编辑后的关键帧视为固定锚点。实验结果表明，AVE在指令跟随、时间一致性和内容保真度方面表现出色。

🔬 方法详解

问题定义：本文旨在解决视频编辑的复杂性和高成本问题。现有方法通常需要从头开始训练视频编辑器，导致效率低下和性能不足。

核心思路：论文的核心思路是将视频编辑分解为编辑关键帧和在时间上传播编辑，通过将强大的图像编辑器转化为视频编辑器，避免了昂贵的端到端训练。

技术框架：AVE框架分为两个阶段：第一阶段由图像编辑器对选定的关键帧进行复合编辑，第二阶段由运动引导的图像到视频扩散模型生成最终视频，固定编辑后的关键帧作为锚点。

关键创新：最重要的技术创新在于通过锚点生成的方式将图像编辑与视频编辑结合，利用图像编辑器的强大能力，显著降低了视频编辑的复杂性。

关键设计：在设计中，选择了高质量的图像编辑器作为基础，并采用运动引导的扩散模型来确保生成视频的时间一致性和内容保真度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在IVEBench和VIE-Bench的实验中，AVE在指令跟随、时间一致性和内容保真度方面表现优异，具体性能数据表明，AVE在多个指标上均超越了现有基线，显示出显著的提升幅度。

🎯 应用场景

该研究的潜在应用领域包括影视制作、广告创作和社交媒体内容生成等。通过简化视频编辑流程，AVE能够帮助创作者更高效地制作高质量视频，降低制作成本，提升创作灵活性。未来，随着图像编辑技术的进步，视频编辑的质量和效率有望进一步提升。

📄 摘要（原文）

Recent image editing systems have achieved impressive semantic understanding, visual fidelity, and instruction-following ability, while video editing remains substantially more difficult and costly. In this paper, we present a simple alternative to end-to-end video editing: instead of training a monolithic video editor, we transform a strong image editor into a video editor through anchor-based generation. Our key insight is that video editing can be decomposed into two subproblems: editing a sparse set of keyframes and propagating those edits across time. Based on this observation, we propose Anchor-based Video Editing (AVE), a two-stage framework in which a powerful image editor first performs composed editing on selected keyframes, and a motion-guided image-to-video diffusion model then generates the final video by treating the edited keyframes as fixed anchors. This design directly inherits the strengths of modern image editors while avoiding expensive end-to-end video editing training. Experiments on IVEBench and VIE-Bench show that AVE achieves strong performance in instruction following, temporal consistency, and content fidelity. Further ablations reveal that final video editing quality is strongly correlated with the quality of the image editor, suggesting that future progress in video editing may come from stronger image editing foundations and lightweight transfer to video. Code is available at https://github.com/wangf3014/AVE.