Video = World + Event Stream
作者: Lianghua Huang, Zhi-Fan Wu, Yupeng Shi, Wei Wang, Mengyang Feng, Cheng Yu, Chen Liang, Junjie He, Chen-Wei Xie, Yu Liu, Jingren Zhou, Ang Wang, Bang Zhang, Baole Ai, Chongyang Zhong, Jinwei Qi, Kai Zhu, Pandeng Li, Peng Zhang, Wenyuan Zhang, Xinhua Cheng, Yitong Huang, Yun Zheng, Yuxiang Bao, Yuzheng Wang, Zhiwei Lin, Zoubin Bi
分类: cs.CV
发布日期: 2026-07-16
备注: website; https://wan-streamer.com/
💡 一句话要点
提出Wan-Streamer v0.3以实现视频世界与事件流的实时交互
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频理解 事件流 多模态交互 实时响应 音视频处理
📋 核心要点
- 现有方法在处理视频理解时，缺乏对环境背景和动态事件的有效整合，导致交互性不足。
- 论文提出的Wan-Streamer v0.3通过将视频视为世界与事件流的结合，提供了一种新的实时交互模型。
- 该模型在实时全双工音视频交互中表现出色，保持了640x368视频、25 FPS的流畅性，响应延迟显著降低。
📝 摘要（中文）
我们提出了Wan-Streamer v0.3，它在单一的组织视角下重新构建了我们的原生流交互模型：视频是一个世界加上一个事件流。世界是视频展开的持久背景，包括环境、场景、主体、环境声条件、声音特征等相对稳定的条件。事件流则是世界中随时间变化的所有内容，包括场景或环境变化、主体行为、语言和其他声音。这种方法为大规模真实视频提供了一种通用的预训练任务：给定一个世界和输入，预测世界如何实时移动、变化和响应。该能力可以专门化为广泛的实时下游任务。我们在实时全双工音视频交互中实例化了该模型，其中事件流是代理的语言和自由形式行为。
🔬 方法详解
问题定义：本论文旨在解决现有视频理解方法在动态事件与环境背景整合上的不足，导致交互体验不佳的问题。
核心思路：论文的核心思路是将视频视为一个稳定的世界与一个动态的事件流的结合，通过这种方式来增强模型对实时变化的理解和响应能力。
技术框架：Wan-Streamer v0.3的整体架构包括两个主要模块：世界模型和事件流模型。世界模型负责捕捉视频中的持久背景信息，而事件流模型则处理随时间变化的动态信息。
关键创新：最重要的技术创新在于将视频理解任务重新框架为世界与事件流的结合，提供了一种新的视角来处理多模态输入，显著提升了模型的实时交互能力。
关键设计：模型保持了640x368的分辨率和25 FPS的帧率，采用160 ms的流媒体单元，模型侧响应延迟约为200 ms，总交互延迟约为550 ms，确保了在350 ms的双向网络预算下的高效性能。
🖼️ 关键图片
📊 实验亮点
在实验中，Wan-Streamer v0.3保持了640x368的分辨率和25 FPS的流畅性，响应延迟显著降低至约200 ms，总交互延迟约为550 ms，展示了在350 ms双向网络预算下的高效性能，较基线方法有明显提升。
🎯 应用场景
Wan-Streamer v0.3在实时音视频交互中的应用潜力巨大，能够用于智能助手、在线教育、虚拟会议等场景，提升用户体验和交互质量。未来，该模型还可以扩展到更多多模态任务，如自动视频摘要和内容生成等。
📄 摘要（原文）
We present Wan-Streamer v0.3, which reframes our native-streaming interaction model under a single organizing view: a video is a world plus an event stream. The world is the persistent context in which a video unfolds, including the environment, scene, subjects, ambient acoustic conditions, voice characteristics, and other relatively stable conditions. The event stream is everything that changes over time within that world, including scene or environmental changes, subject behavior, speech, and other sounds. This yields a general-purpose pretraining task over large amounts of real video: given a world and incoming input, predict how the world moves, changes, and responds in real time. The resulting competence can be specialized to a broad family of real-time downstream tasks. We instantiate it on real-time full-duplex audio-visual interaction, where the event stream is the agent's speech together with free-form behavior. Functionally, the model's multimodal understanding process is vision-language-action-like: it maps multimodal user input to language-form speech and behavior actions. Wan-Streamer v0.3 preserves the v0.2 operating point: 640x368 video at 25 FPS, a 160 ms streaming unit, approximately 200 ms model-side response latency, and approximately 550 ms total interaction latency under a 350 ms bidirectional network budget.