Persistent Planar Memory for Video World Models
作者: Yuze He, Bin Tan, Zelin Gao, Yujun Shen, Yong-Jin Liu, Nan Xue, Yinghao Xu
分类: cs.CV
发布日期: 2026-10-16
备注: 20 pages, 9 figures. Accepted by NeurIPS 2026
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出PPMem以解决视频世界模型的持久3D记忆问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 视频世界模型 持久3D记忆 平面原语 深度标记融合 视频生成 几何一致性 自回归模型
📋 核心要点
- 现有的视频世界模型缺乏有效的持久3D记忆，导致生成的环境信息不够紧凑和一致。
- PPMem通过引入平面原语作为持久记忆，结合视频扩散变换器和深度标记融合模块，提升了生成效率和质量。
- 在DL3DV和RealEstate10K数据集上，PPMem在视频质量上超越了以往的3D基础模型，且在大视角变化下保持了连贯性。
📝 摘要（中文）
视频世界模型需要一个持久的3D记忆来生成和探索环境。本文提出PPMem，采用平面原语作为持久3D记忆，利用视频扩散变换器增强平面预测头和深度标记融合模块。每个自回归块共同生成RGB视频和几何信息，合并为持久平面记忆，支持后续块的生成。PPMem在DL3DV和RealEstate10K数据集上表现优异，视频质量超越了先前的3D基础世界模型，同时生成度量尺度的深度、表面法线和可导出的平面几何，保持在大视角变化下的连贯性。
🔬 方法详解
问题定义：本文旨在解决视频世界模型中缺乏持久3D记忆的问题，现有方法通常生成的环境信息不够紧凑，难以保持一致性和连贯性。
核心思路：PPMem通过采用平面原语作为持久3D记忆，利用视频扩散变换器的自回归特性，生成RGB视频和几何信息，进而合并为持久平面记忆，以支持后续生成。
技术框架：PPMem的整体架构包括视频扩散变换器、平面预测头和深度标记融合模块。每个自回归块生成RGB视频和对应的平面几何信息，最终合并为持久的平面记忆。
关键创新：PPMem的主要创新在于使用平面原语作为持久记忆，这使得模型在存储和计算上更加高效，且在生成过程中能够保持几何一致性。
关键设计：PPMem的设计中，平面原语仅需7个参数，且通过合并过程不断优化记忆内容，确保生成的几何信息在多个视角下保持一致。
🖼️ 关键图片
📊 实验亮点
PPMem在DL3DV和RealEstate10K数据集上的实验结果显示，其视频质量显著优于先前的3D基础世界模型，生成的场景仅需约100K平面原语和5MB的存储空间，且在大视角变化下保持了高连贯性。
🎯 应用场景
PPMem的研究成果在虚拟现实、增强现实和机器人导航等领域具有广泛的应用潜力。通过提供高效且一致的环境建模，PPMem能够提升这些应用的交互性和沉浸感，为用户提供更真实的体验。
📄 摘要（原文）
Video world models that generate and explore environments at scale need a persistent 3D memory of what they have produced. Plane primitives offer a natural candidate: a compact set of oriented planes captures the dominant structural elements (e.g., walls, floors, facades) of indoor and outdoor scenes, while requiring only 7 parameters per primitive. We present PPMem, a video world model that adopts plane primitives as its persistent 3D memory. PPMem augments a video diffusion transformer with a planar prediction head and a Depth Token Fusion (DTF) module: each autoregressive chunk jointly produces RGB video and planar geometry, which merges into a persistent plane memory that conditions subsequent chunks via rendered depth. The resulting memory is three orders of magnitude more compact than per-pixel point clouds (~100K primitives, 5MB for a full scene), geometrically explicit (metric depth, normals, exportable surfaces), cross-view consistent (jointly predicted by the shared backbone), and adaptive (refined by the merging procedure as generation proceeds). On DL3DV and RealEstate10K, PPMem outperforms prior 3D-grounded world models in video quality while jointly producing metric-scale depth, surface normals, and exportable planar geometry, sustaining coherence across hundreds of frames under large viewpoint changes. Project page: https://hyzcluster.github.io/ppmem.