Astronex-World 1.0: Real-Time Interactive World Model Foundation

📄 arXiv: 2609.20034v1 📥 PDF

作者: Xin Zhou, Cong Miao

分类: cs.CV, cs.AI, cs.RO

发布日期: 2026-09-17

备注: Technical report. 25 pages, 13 figures, 10 tables. Project page: https://world.astronex.com.cn ; Code: https://github.com/Astronex-Robotics/Astronex-World ; Weights: https://huggingface.co/Astronex-Lab/Astronex-World

💡 一句话要点

提出Astronex-World 1.0以实现实时交互式世界模型生成

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频生成 因果模型 双向生成 实时交互 多模态输入 块因果注意力 动态场景

📋 核心要点

  1. 现有的视频生成模型在处理复杂场景和动态交互时存在局限性，难以实现实时响应和高质量生成。
  2. Astronex-World 1.0通过引入双向模型和因果模型，结合块因果注意力机制，提升了视频生成的质量和实时性。
  3. 该模型在WBench Navi和WBench Full上分别获得73.5和70.0的高分，超越了多个基线模型，展现出优越的性能。

📝 摘要（中文）

我们提出了Astronex-World 1.0，这是一个开放可控的视频世界模型基础。该模型能够根据文本提示（文本到视频）或初始观察（图像到视频）预测未来的视觉状态，支持帧对齐的相机轨迹、连续动作和具身标识符，并允许在回放的特定位置插入文本事件。该模型提供了双向生成和因果生成的能力，采用块因果注意力和跨块KV缓存，基于Wan2.2-TI2V-5B先验构建。通过五个阶段的训练路径，模型实现了双向相机和动作控制，支持实时生成832x480分辨率的视频，具有显著的性能提升。

🔬 方法详解

问题定义：论文旨在解决现有视频生成模型在复杂场景下的实时性和生成质量不足的问题，尤其是在动态交互和多模态输入方面的挑战。

核心思路：通过构建一个开放可控的视频世界模型，结合文本和图像输入，模型能够在帧对齐的相机轨迹下生成未来的视觉状态，支持实时交互。

技术框架：整体架构包括双向生成模型和因果生成模型，采用块因果注意力和跨块KV缓存，分为五个训练阶段，逐步实现相机和动作的双向控制。

关键创新：最重要的创新在于引入了PRoPE模块，能够注入相机内外参，同时使用64维的动作流调制每个Transformer层，从而实现更高效的生成。

关键设计：模型采用了五阶段的训练路径，涉及双向控制、块因果生成、学生模型蒸馏、混合域动态恢复和不对称DMD/DMD2分布匹配等技术细节，确保了生成过程的稳定性和高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Astronex-World 1.0在WBench Navi和WBench Full上分别获得73.5和70.0的评分，超越了13.6B的LongCat-Video和14B的Helios，接近22B的LTX-2.3，展现出显著的性能提升，尤其在实时生成能力上表现突出。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发、自动驾驶和机器人导航等。通过实现实时交互式视频生成，Astronex-World 1.0能够为用户提供更为沉浸和动态的体验，推动智能系统在复杂环境中的应用与发展。

📄 摘要（原文）

We present Astronex-World 1.0, an open controllable video world-model foundation. Given a text prompt (text-to-video) or an initial observation (image-to-video), the model predicts future visual states under frame-aligned camera trajectories, continuous actions, and an embodiment identifier, and accepts text events inserted at a specified position of a rollout. The family provides a bidirectional model for full-context generation and a causal model with block-causal attention and cross-block KV caching for persistent generation, both built on the Wan2.2-TI2V-5B prior. PRoPE injects camera intrinsics and extrinsics, while a 64-dimensional action stream modulates every Transformer layer. A five-stage training path develops bidirectional camera and action control, converts the backbone to block-causal generation, distills a few-step student, restores mixed-domain dynamics, and applies asymmetric DMD/DMD2 distribution matching. The causal model generates 832x480 video at 24 fps. All five training stages run on two NVIDIA L20 48 GB GPUs, and the causal model streams in real time on one. It scores 73.5 on WBench Navi and 70.0 on WBench Full. On Full, this 5B model is above the 13.6B LongCat-Video and the 14B Helios, within one point of the 22B LTX-2.3, and above YUME 1.5, which is post-trained from the same 5B prior on NVIDIA A100 GPUs. The reserved action input and output interfaces allow post-training for embodied intelligence and autonomous driving.