VideoX-Qwen: Data-Centric Instruction-Based Video Editing
作者: JJiahang Li, Dingbao Shao, Xinyu Chen, Song Wu, Jiang Lin, Duo Li, Yuhang Liu, Jiaxin Hu, Shengrong Gu, Ying Tai, Zili Yi
分类: cs.AI, cs.GR
发布日期: 2026-09-22
备注: Technical report
💡 一句话要点
提出VideoX-Qwen以解决指令驱动视频编辑的挑战
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频编辑 指令驱动 数据构建 多模态融合 模型训练 内容保留 质量提升
📋 核心要点
- 现有视频编辑方法在处理指令驱动的编辑时，难以同时保留场景结构和时间连续性，导致编辑效果不佳。
- 论文提出了VideoX-Qwen框架，通过构建大规模数据集和多模态语义条件，提升视频编辑的灵活性和质量。
- 在与其他基线模型的比较中，VideoX-Qwen在多个指标上表现优异，显示出其在指令遵循和内容保留方面的显著提升。
📝 摘要（中文）
视频编辑的进展依赖于构建大规模的配对监督数据，并有效地将视频生成模型适应于指令驱动的编辑。与视频生成不同，视频编辑必须在保留无关对象、场景结构、运动和时间连续性的同时执行请求的转换。我们提出了VideoX-Qwen，这是一个集成的数据构建和模型训练框架，旨在实现通用的指令驱动视频编辑。该框架的生产管道组织了专门的生成和理解模型，以补充的方式处理添加、删除、替换和属性编辑，随后进行质量筛选和指令丰富。最终生成超过120万个定向视频编辑记录，涵盖常见编辑操作，并通过统一的源-指令-目标接口提供广泛的结构化覆盖。通过与UniVideo和Kling O1的比较，VideoX-Qwen在九个指标上取得了最佳平均结果，展示了其在指令遵循、编辑质量和内容保留等方面的优势。
🔬 方法详解
问题定义：论文要解决的问题是如何在指令驱动的视频编辑中有效执行请求的转换，同时保留无关的对象和场景结构。现有方法在这方面存在不足，难以兼顾编辑效果与内容保留。
核心思路：论文的核心思路是构建一个集成的数据构建和模型训练框架，通过大规模的数据集和多模态语义条件来实现灵活的指令驱动编辑。这种设计旨在提升视频编辑的质量和效率。
技术框架：整体架构包括数据生产管道、专门的生成和理解模型、质量筛选和指令丰富等多个模块。数据生产管道负责生成超过120万个视频编辑记录，模型则负责执行具体的编辑任务。
关键创新：最重要的技术创新点在于构建了一个统一的源-指令-目标接口，提供了广泛的结构化覆盖，并通过多模态语义条件和源视频潜在指导来提升编辑效果。这与现有方法的本质区别在于其系统性和数据驱动的设计。
关键设计：关键设计包括高效的数据生成策略、损失函数的选择，以及多模态条件的融合方式。这些技术细节确保了模型在处理复杂编辑任务时的稳定性和高质量输出。
🖼️ 关键图片
📊 实验亮点
在与UniVideo和Kling O1的100个示例比较中，VideoX-Qwen在九个指标上取得了最佳平均结果，特别是在指令遵循、编辑质量和内容保留方面，展示了显著的性能提升，进一步验证了其有效性。
🎯 应用场景
该研究的潜在应用领域包括影视制作、社交媒体内容创作和教育培训等。通过提供高效的指令驱动视频编辑工具，VideoX-Qwen能够显著提升视频制作的灵活性和质量，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Progress in general-purpose video editing depends on constructing large-scale paired supervision and effectively adapting video-generation backbones to instruction-driven editing. Unlike video generation, video editing must execute a requested transformation while preserving unrelated subjects, scene structure, motion, and temporal continuity. We present VideoX-Qwen, an integrated data-construction and model-training framework for general instruction-based video editing. Our scalable production pipeline organizes specialized generation and understanding models into complementary routes for addition, removal, replacement, and attribute editing, followed by quality screening and instruction enrichment. It produces more than 1.2 million directional video-editing records, including over 400,000 records in each major task group, with an automatic acceptance rate of 89%. The resulting corpus provides broad and structured coverage of common editing operations through a unified source-instruction-target interface. We further develop a unified Qwen-Wan editor that combines multimodal semantic conditioning with dense source-video latent guidance. A progressive image-video training strategy aligns the multimodal instruction interface, adapts the video generator to source-conditioned editing, and refines output quality with selected high-resolution data. In a 100-example comparison with UniVideo and Kling O1, VideoX-Qwen achieves the best mean result on nine of eleven reported metrics, including instruction following, editing quality, content preservation, structural and perceptual similarity, and video-distribution quality. Together, the large-scale data-production system and unified training framework provide a practical foundation for more capable instruction-driven video editing.