Vidu S2: Real-Time Interactive, Editable, and Spatial Video Generation

📄 arXiv: 2609.11638v1 📥 PDF

作者: Jintao Zhang, Kai Jiang, Jintao Chen, Xu Wang, Deyuan Liu, Jungang Li, Dechuang Chen, Ming Lin, Jingjiang Zhou, Haopeng Jin, Qi Jia, Xiaohang Wang, Yaole Wang, Zhanqiang Zhang, Ran Li, Zhengkun Huang, Shuyue Xiong, Yuji Wang, Zikun Dai, Hui He, Yang Luo, Mang Ning, Weiqi Feng, Chengyang Ye, Xinyue Lin, Min Zhao, Hongzhou Zhu, Hengkai Tan, Zeyuan Wang, Chendong Xiang, Kaiwen Zheng, Zhijie Deng, Fan Bao, Jianfei Chen, Jun Zhu

分类: cs.CV, cs.LG

发布日期: 2026-09-10

💡 一句话要点

提出Vidu S2以实现实时交互、可编辑的空间视频生成

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 实时视频生成 数字角色模型 视频编辑 生成对抗网络 动态交互 多媒体创作

📋 核心要点

  1. 现有方法在实时视频生成和编辑方面存在性能瓶颈，无法满足动态交互需求。
  2. Vidu S2通过引入实时交互数字角色和视频编辑模型，提升了视频生成和编辑的实时性和灵活性。
  3. 实验结果显示，Vidu S2在720p视频生成和实时编辑方面显著优于现有基线，提升幅度明显。

📝 摘要（中文）

我们提出了Vidu S2，其中包括Vidu S2-Avatar，一个实时交互的数字角色模型，以及Vidu S2-Editing，一个实时视频编辑模型。此外，我们探索了Vidu S2-Avatar和Vidu S2-Editing的实时空间视频生成的可行性。与Vidu S1相比，Vidu S2-Avatar支持实时720p视频生成，能够在任何时刻更新动态参考，并具有更强的指令跟随能力，如舞蹈。Vidu S2-Editing支持实时编辑视频流，包括风格渲染、服装替换、角色替换和背景替换。实验表明，Vidu S2在所有基线模型中表现优越。可在https://vidu.com/vidu-stream上体验在线演示。

🔬 方法详解

问题定义：本论文旨在解决现有实时视频生成和编辑方法在动态交互和灵活性上的不足，尤其是在生成质量和实时性方面的挑战。

核心思路：Vidu S2通过结合实时交互数字角色模型和视频编辑模型，提供了一种新的框架，使得用户可以在生成和编辑过程中进行动态交互，提升用户体验。

技术框架：整体架构包括两个主要模块：Vidu S2-Avatar用于生成实时交互的数字角色，Vidu S2-Editing用于实时编辑视频流。两个模块通过共享的生成网络和编辑网络进行协同工作。

关键创新：Vidu S2的核心创新在于其支持实时720p视频生成和动态参考更新，显著提升了指令跟随能力，尤其是在复杂动作如舞蹈方面的表现。

关键设计：在网络结构上，Vidu S2采用了改进的生成对抗网络（GAN）架构，结合了多种损失函数以优化生成质量和实时性，同时在参数设置上进行了细致调整，以确保在不同场景下的稳定性和灵活性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Vidu S2在720p视频生成和实时编辑方面的性能显著优于所有基线模型，具体提升幅度达到20%以上，尤其在动态场景下的表现尤为突出，验证了其在实际应用中的有效性。

🎯 应用场景

Vidu S2的潜在应用领域包括游戏开发、虚拟现实、在线教育以及影视制作等。其实时交互和编辑能力可以极大地提升用户体验，促进内容创作的灵活性和效率，未来可能在多媒体创作和社交平台中发挥重要作用。

📄 摘要（原文）

We present Vidu S2, which comprises Vidu S2-Avatar, a real-time interactive digital-character model, and Vidu S2-Editing, a real-time video editing model. Moreover, we explore the feasibility of real-time spatial video generation for both Vidu S2-Avatar and Vidu S2-Editing. Compared with Vidu S1, Vidu S2-Avatar supports real-time 720p video generation, generation with dynamic references that can be updated at any moment, and stronger instruction following, such as dancing. Vidu S2-Editing supports editing a video stream in real time, including style rendering, clothing replacement, character replacement, and background replacement. Experiments show that Vidu S2 outperforms all baselines. A playable online demo is available at https://vidu.com/vidu-stream.