VideoCoF: Unified Video Editing with Temporal Reasoner

📄 arXiv: 2512.07469 📥 PDF

作者: Xiangpeng Yang, Ji Xie, Yiyuan Yang, Yue Ma, Yan Huang, Min Xu, Qiang Wu

分类: cs.CV

发布日期: 2026-04-07

💡 一句话要点

VideoCoF：提出基于时序推理的统一视频编辑框架，无需掩码实现精准编辑。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频编辑 时序推理 扩散模型 无掩码编辑 Chain-of-Frames RoPE对齐 视频生成

📋 核心要点

  1. 现有视频编辑方法在精度和统一性上存在trade-off，专家模型依赖掩码，通用模型定位不准。
  2. VideoCoF通过引入“看、推理、然后编辑”的流程，显式地预测编辑区域的潜在变量，实现精准编辑。
  3. 实验表明，VideoCoF仅需少量数据即可在VideoCoF-Bench上达到SOTA，验证了其效率和有效性。

📝 摘要（中文）

现有的视频编辑方法面临一个关键的权衡：专家模型虽然精度高，但依赖于任务特定的先验知识（如掩码），阻碍了统一性；另一方面，统一的时序上下文学习模型虽然无需掩码，但缺乏显式的空间线索，导致指令到区域的映射较弱，定位不精确。为了解决这个冲突，我们提出了VideoCoF，一种受Chain-of-Thought推理启发的新的Chain-of-Frames方法。VideoCoF通过迫使视频扩散模型首先预测推理token（编辑区域潜在变量），然后再生成目标视频token，从而强制执行“看、推理、然后编辑”的过程。这种显式的推理步骤消除了对用户提供的掩码的需求，同时实现了精确的指令到区域的对齐和细粒度的视频编辑。此外，我们引入了一种RoPE对齐策略，该策略利用这些推理token来确保运动对齐，并实现超出训练持续时间的长度外推。我们证明，仅需50k视频对的最小数据成本，VideoCoF在VideoCoF-Bench上实现了最先进的性能，验证了我们方法的效率和有效性。我们的代码、权重和数据可在提供的URL上找到。

🔬 方法详解

问题定义：现有视频编辑方法要么依赖于任务特定的先验知识（如掩码），缺乏统一性；要么是统一的无掩码方法，但由于缺乏显式的空间线索，导致指令到区域的映射不精确，无法进行精细的编辑。因此，需要一种既能实现统一性，又能保证编辑精度的视频编辑方法。

核心思路：VideoCoF的核心思路是借鉴Chain-of-Thought (CoT) 的思想，将视频编辑过程分解为“看、推理、然后编辑”三个步骤。通过显式地预测推理token（编辑区域的潜在表示），模型可以更好地理解用户的编辑指令，并将其映射到视频中的特定区域，从而实现更精确的编辑。

技术框架：VideoCoF的整体框架基于视频扩散模型。首先，模型“看”输入视频，然后“推理”出需要编辑的区域的潜在表示（推理token）。这些推理token作为条件，引导扩散模型生成编辑后的视频。框架包含三个主要阶段：1) 视频编码器：将输入视频编码为潜在表示。2) 推理模块：基于编码后的视频表示和编辑指令，预测推理token。3) 视频解码器：基于视频表示和推理token，生成编辑后的视频。

关键创新：VideoCoF的关键创新在于引入了显式的推理步骤，即预测推理token。这使得模型能够更好地理解用户的编辑指令，并将其映射到视频中的特定区域。与现有方法相比，VideoCoF无需用户提供掩码，同时实现了更精确的指令到区域的对齐。此外，RoPE对齐策略利用推理token确保运动对齐，并实现长度外推。

关键设计：推理模块的设计至关重要，它需要能够从视频表示和编辑指令中提取出需要编辑的区域的信息。RoPE对齐策略通过在推理token上应用旋转位置编码，来确保运动的一致性，并支持视频长度的外推。损失函数的设计需要平衡编辑精度和视频质量，例如，可以使用L1损失来约束编辑区域的像素值，同时使用对抗损失来提高视频的真实感。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VideoCoF在VideoCoF-Bench上取得了SOTA性能，证明了其有效性。实验结果表明，VideoCoF仅需50k视频对的训练数据，即可达到媲美甚至超过现有方法的性能。这表明VideoCoF具有很高的效率和泛化能力。与需要大量标注数据的专家模型相比，VideoCoF的训练成本更低。

🎯 应用场景

VideoCoF具有广泛的应用前景，包括视频内容创作、视频修复、视频风格迁移、视频特效制作等。该方法可以帮助用户更轻松、更精确地编辑视频，提高视频制作的效率和质量。未来，VideoCoF可以应用于智能视频监控、自动驾驶等领域，实现更智能化的视频处理。

📄 摘要（原文）

Existing video editing methods face a critical trade-off: expert models offer precision but rely on task-specific priors like masks, hindering unification; conversely, unified temporal in-context learning models are mask-free but lack explicit spatial cues, leading to weak instruction-to-region mapping and imprecise localization. To resolve this conflict, we propose VideoCoF, a novel Chain-of-Frames approach inspired by Chain-of-Thought reasoning. VideoCoF enforces a ``see, reason, then edit" procedure by compelling the video diffusion model to first predict reasoning tokens (edit-region latents) before generating the target video tokens. This explicit reasoning step removes the need for user-provided masks while achieving precise instruction-to-region alignment and fine-grained video editing. Furthermore, we introduce a RoPE alignment strategy that leverages these reasoning tokens to ensure motion alignment and enable length extrapolation beyond the training duration. We demonstrate that with a minimal data cost of only 50k video pairs, VideoCoF achieves state-of-the-art performance on VideoCoF-Bench, validating the efficiency and effectiveness of our approach. Our code, weight, data are available atthis https URL.