Waypoint-1.5: A Real-Time Video World Model for Consumer Hardware

📄 arXiv: 2609.37107v1 📥 PDF

作者: Rajit Rajpal, Shahbuland Matiana, Liew Wei Pyn, Anmol Agarwal, Ryan Craig, Andrew Lapp, Mithun Hunsur, Sami BuGhanem, Scottie Fox, Aaron Sanders Carson Poole, Irene Park, Dave Rossi, Spencer Frazier, Louis Castricato

分类: cs.CV, cs.HC

发布日期: 2026-09-29

💡 一句话要点

提出Waypoint 1.5以解决实时视频生成的交互性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 实时视频生成 互动世界模型 消费级硬件 视频游戏数据 用户控制响应

📋 核心要点

  1. 现有的视频生成模型在实时交互性和用户控制响应方面存在显著不足，无法满足游戏等应用的需求。
  2. Waypoint 1.5通过在大量控制对齐的视频游戏数据上进行预训练，设计了能够实时响应用户输入的互动世界模型。
  3. 实验结果表明，Waypoint 1.5在延迟和吞吐量方面表现优异，能够在消费级硬件上实现高效的视频生成。

📝 摘要（中文）

我们提出Waypoint 1.5，这是一种用于互动视频生成的实时扩散世界模型，适用于消费级硬件。与一般视频扩散模型不同，互动世界模型（iWMs）必须在严格的延迟和吞吐量限制下响应密集的用户控制。Waypoint 1.5在100,000小时的多样化、控制对齐的视频游戏数据上进行预训练，能够根据完整的键盘和鼠标输入生成可播放的视频。该模型包括两个分辨率变体，适用于广泛的消费硬件。我们描述了Waypoint 1.5的数据管道、架构、训练方法和运行时系统，并通过延迟和吞吐量评估了其交互性。最后，我们讨论了与iWMs相关的安全和伦理考虑。

🔬 方法详解

问题定义：本论文旨在解决现有视频生成模型在实时交互性方面的不足，特别是在用户控制响应的延迟和吞吐量限制下的挑战。现有方法往往无法满足游戏等需要快速反馈的应用场景。

核心思路：Waypoint 1.5的核心思路是通过在多样化的视频游戏数据上进行预训练，构建一个能够实时响应用户输入的互动世界模型，从而提升用户体验和交互性。

技术框架：Waypoint 1.5的整体架构包括数据管道、模型架构、训练方法和运行时系统。模型支持两种分辨率变体，以适应不同的消费级硬件。

关键创新：Waypoint 1.5的主要创新在于其针对互动视频生成的设计，能够在严格的延迟和吞吐量要求下进行高效的用户输入响应，这与传统视频生成模型有本质区别。

关键设计：在技术细节方面，Waypoint 1.5采用了特定的损失函数和网络结构，以优化生成视频的质量和响应速度，同时确保在不同硬件上的兼容性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Waypoint 1.5在延迟和吞吐量方面的表现显著优于现有基线模型，能够在消费级硬件上实现高达60帧每秒的生成速度，满足实时交互的需求。

🎯 应用场景

Waypoint 1.5的研究成果在游戏开发、虚拟现实和增强现实等领域具有广泛的应用潜力。其实时视频生成能力能够提升用户体验，推动互动娱乐内容的创新与发展，未来可能在教育、培训等场景中发挥重要作用。

📄 摘要（原文）

We present Waypoint 1.5, a real-time diffusion world model for interactive video generation on consumer-grade hardware. Unlike general video diffusion models, interactive world models (iWMs) must respond to dense user controls under strict latency and throughput constraints. Waypoint 1.5 is pre-trained on 100,000 hours of diverse, control-aligned video game data across hundreds of games, and generates playable video conditioned on full keyboard and mouse input. The model includes two resolution variants that run across a wide spectrum of consumer hardware. To characterize this unique setting, we distinguish rendered FPS, latent FPS, and control rate. We describe the data pipeline, architecture, training methodology, and runtime system behind Waypoint 1.5. We evaluate interactivity through latency and throughput. Finally, we discuss the safety and ethics considerations unique to iWMs.