PanoWorld-X: Generating Explorable Panoramic Worlds via Sphere-Aware Video Diffusion

📄 arXiv: 2509.24997v1 📥 PDF

作者: Yuyang Yin, HaoXiang Guo, Fangfu Liu, Mengyu Wang, Hanwen Liang, Eric Li, Yikai Wang, Xiaojie Jin, Yao Zhao, Yunchao Wei

分类: cs.CV

发布日期: 2025-09-29

备注: Project page: \url{https://yuyangyin.github.io/PanoWorld-X/}

💡 一句话要点

PanoWorld-X：基于球形感知视频扩散生成可探索全景世界

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 全景视频生成 视频扩散模型 球形几何 Transformer 虚拟环境 相机轨迹 可控生成

📋 核心要点

  1. 现有方法在生成连续、整体场景时受限于狭窄的视野，或缺乏相机可控性，限制了用户或自主智能体的自由探索。
  2. PanoWorld-X通过构建大规模全景视频数据集，并提出球形感知扩散Transformer架构，解决全景视频生成中的几何结构不匹配问题。
  3. 实验结果表明，PanoWorld-X在运动范围、控制精度和视觉质量方面均优于现有方法，展现了其在实际应用中的潜力。

📝 摘要（中文）

本文提出PanoWorld-X，一个用于生成高保真、可控全景视频的新框架，该框架支持多样化的相机轨迹。首先，通过Unreal Engine在虚拟3D环境中模拟相机轨迹，构建了一个大规模的全景视频-探索路径对数据集。其次，针对全景数据的球形几何结构与传统视频扩散的归纳偏置不匹配问题，引入了一种球形感知扩散Transformer架构，该架构将等距柱状投影特征重投影到球面上，以在潜在空间中建模几何邻接关系，从而显著提高视觉保真度和时空连续性。大量实验表明，PanoWorld-X在运动范围、控制精度和视觉质量等各个方面均表现出卓越的性能，突显了其在现实世界应用中的潜力。

🔬 方法详解

问题定义：论文旨在解决生成具有高保真度和可控性的可探索全景视频的问题。现有方法主要存在两个痛点：一是视野范围受限，难以生成连续和完整的场景；二是相机控制不足，限制了用户或自主智能体的自由探索。

核心思路：论文的核心思路是利用视频扩散模型生成全景视频，并通过球形感知Transformer架构来解决全景视频的球形几何结构与传统视频扩散模型的归纳偏置不匹配的问题。通过在球面上建模几何邻接关系，可以更好地保持视觉保真度和时空连续性。

技术框架：PanoWorld-X的整体框架包含两个主要部分：一是数据集构建，通过Unreal Engine模拟相机轨迹，生成大规模的全景视频-探索路径对数据集；二是球形感知扩散Transformer架构，该架构基于扩散模型，并针对全景视频的特点进行了改进。

关键创新：论文的关键创新在于提出了球形感知扩散Transformer架构。该架构将等距柱状投影的全景视频特征重投影到球面上，从而能够在潜在空间中建模几何邻接关系。这种方法能够更好地利用全景视频的几何信息，提高生成视频的视觉保真度和时空连续性。

关键设计：球形感知扩散Transformer架构的关键设计包括：使用等距柱状投影作为全景视频的表示形式；将等距柱状投影特征重投影到球面上；在球面上使用Transformer建模几何邻接关系；使用扩散模型生成视频帧。具体的参数设置、损失函数和网络结构等细节在论文中有详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PanoWorld-X在运动范围、控制精度和视觉质量等各个方面均优于现有方法。具体而言，PanoWorld-X能够生成具有更广阔视野和更复杂运动轨迹的全景视频，同时保持较高的视觉保真度和时空连续性。论文中提供了具体的定量指标和视觉效果对比，证明了PanoWorld-X的优越性（具体数据未知）。

🎯 应用场景

PanoWorld-X具有广泛的应用前景，包括虚拟现实、增强现实、游戏开发、机器人导航和自动驾驶等领域。它可以用于生成逼真的虚拟环境，为用户提供沉浸式的体验。此外，PanoWorld-X还可以用于训练机器人和自动驾驶汽车，使其能够在复杂的环境中进行导航和探索。该研究的成果将推动全景视频生成技术的发展，并为相关领域带来新的机遇。

📄 摘要（原文）

Generating a complete and explorable 360-degree visual world enables a wide range of downstream applications. While prior works have advanced the field, they remain constrained by either narrow field-of-view limitations, which hinder the synthesis of continuous and holistic scenes, or insufficient camera controllability that restricts free exploration by users or autonomous agents. To address this, we propose PanoWorld-X, a novel framework for high-fidelity and controllable panoramic video generation with diverse camera trajectories. Specifically, we first construct a large-scale dataset of panoramic video-exploration route pairs by simulating camera trajectories in virtual 3D environments via Unreal Engine. As the spherical geometry of panoramic data misaligns with the inductive priors from conventional video diffusion, we then introduce a Sphere-Aware Diffusion Transformer architecture that reprojects equirectangular features onto the spherical surface to model geometric adjacency in latent space, significantly enhancing visual fidelity and spatiotemporal continuity. Extensive experiments demonstrate that our PanoWorld-X achieves superior performance in various aspects, including motion range, control precision, and visual quality, underscoring its potential for real-world applications.