ZYT-World: A Real-Time Controllable World Model for Closed-Loop Autonomous-Driving Simulation
作者: Boni Hu, Xiong Wei, Haoming Huang, Yong Huang, Chenbo Wang, Yi Yang, Jiancheng Wang, Ruicheng Zhu, Zhimin Yang, Guanglai Liu, Qiaowan Jin, Dongzhuo Wang, Haiwei Kuang, Jiajun Fan, Yue Wu, Jiaxin Wei, Hao Sun, Feihong Yan, Wei Bi, Kaixuan Wang, Zichao Guo, Xiaozhi Chen
分类: cs.CV
发布日期: 2026-09-18
备注: Technical Report. Videos and additional results are available at zyt-aim.github.io/ZYT-World
💡 一句话要点
提出ZYT-World以解决闭环自主驾驶仿真中的三大挑战
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 闭环仿真 生成模型 自主驾驶 运动控制 长时间稳定性 场景身份保持 高分辨率
📋 核心要点
- 现有生成世界模型在闭环自主驾驶仿真中存在无法满足真实感、稳定性和低延迟的挑战。
- ZYT-World通过单一架构生成多种视图，采用多种技术手段实现高效的运动控制和场景身份保持。
- 实验结果表明，ZYT-World在性能上显著优于传统方法，生成速度提升107.7倍，且保留了高质量的图像特征。
📝 摘要（中文）
生成世界模型为端到端和视觉-语言-动作驾驶策略提供可控和可重复的闭环仿真，但在生产部署中面临三大未解决需求：真实再现混合鱼眼-针孔相机的原生分辨率；调和因果、逐时交互与长时间稳定性和低延迟；以及在重访位置时保持场景身份。本文提出ZYT-World，一个单一架构，原生生成四个视场大于180°的鱼眼视图和三个针孔视图。通过投影特定的Plucker适配器编码相机几何，适应自我运动的层归一化提供全局运动控制，轻量级像素对齐布局通过实例级框、方向和颜色条件化交通参与者和信号。异构训练结合全 rig 几何覆盖与高分辨率细节。教师强制、因果一致性蒸馏、自我回滚分布匹配蒸馏和RigCritic将40步双向教师转化为一步、每潜变量流式生成器，RigCritic联合评估七视图 rig。在内部多视图测试集中，一步模型保留了教师90%以上的PSNR和SSIM，而FID、FVD和LPIPS保持在教师的11%以内。
🔬 方法详解
问题定义：论文要解决的问题是如何在闭环自主驾驶仿真中真实再现复杂场景，同时满足高分辨率、低延迟和长时间稳定性。现有方法在这些方面存在不足，难以有效支持实际应用。
核心思路：ZYT-World通过设计一个单一架构，原生生成多种视图，结合多种技术手段如Plucker适配器和自我运动适应层归一化，实现高效的运动控制和场景身份保持。
技术框架：整体架构包括多个模块：投影特定的Plucker适配器用于编码相机几何，适应自我运动的层归一化用于全局运动控制，轻量级像素对齐布局用于条件化交通参与者和信号。异构训练结合全 rig 几何覆盖与高分辨率细节。
关键创新：最重要的技术创新在于将教师强制、因果一致性蒸馏等技术结合，形成一个高效的流式生成器，能够在保持高质量的同时显著提升生成速度。
关键设计：关键设计包括19M参数的变分自编码器解码器（TinyVAE），W8A8量化，以及推理引擎的优化，分别降低了解码、主干和增量执行的成本。
🖼️ 关键图片
📊 实验亮点
实验结果显示，ZYT-World的一步模型在PSNR和SSIM上保留了教师模型90%以上的性能，同时在FID、FVD和LPIPS指标上保持在教师模型的11%以内。此外，生成速度提升至107.7倍，TinyVAE解码速度比Wan快59.8倍，展现了显著的效率优势。
🎯 应用场景
ZYT-World的研究成果在自动驾驶仿真、虚拟现实和增强现实等领域具有广泛的应用潜力。通过提供高效、真实的环境模拟，能够支持更为复杂的驾驶策略和人机交互设计，推动智能交通系统的发展。
📄 摘要（原文）
Generative world models offer controllable and repeatable closed-loop simulation for end-to-end and vision-language-action driving policies, but production deployment exposes three unresolved requirements: faithfully reproducing a mixed fisheye-pinhole rig at native resolutions; reconciling causal, per-timestep interaction with long-horizon stability and low latency; and preserving scene identity when a location is revisited. We present ZYT-World, a single architecture that natively generates four fisheye views with field of view > 180° and three pinhole views. Projection-specific Plucker adapters encode camera geometry, ego-motion adaptive layer normalization provides global motion control, and a lightweight pixel-aligned layout conditions traffic participants and signals through instance-level boxes, headings and colors. Heterogeneous training combines full-rig geometric coverage with high-resolution detail. Teacher forcing, causal consistency distillation, self-rollout distribution matching distillation, and RigCritic transform a 40-step bidirectional teacher into a one-step, per-latent streaming generator, with RigCritic evaluating the seven-view rig jointly. A 19M-parameter variational autoencoder decoder (TinyVAE), W8A8 quantization, and our inference engine reduce decoding, backbone, and incremental-execution costs, respectively. Finally, cross-trajectory pairs derived from real captures train a plug-in implicit-memory module that preserves place-specific evidence. On the internal multi-view test set, the one-step model retains more than 90% of the teacher's PSNR and SSIM, while FID, FVD, and LPIPS stay within 11% of the teacher. Under the generator-only timing in Figure 2, it is 107.7 times faster than the 40-step bidirectional teacher. TinyVAE decodes 59.8 times faster than Wan. 30s rollouts and cross-trajectory revisits show the intended long-horizon and memory behavior.