GAE: Learning a Geometry-Native Latent Space for 3D-Consistent World Generation

📄 arXiv: 2609.24981v1 📥 PDF

作者: Jiahao Lu, Minghao Yin, Wenbo Hu, Hengyu Liu, Wang Zhao, Sai-Kit Yeung, Ying Shan, Yuan Liu

分类: cs.CV

发布日期: 2026-09-21

备注: Project page: https://jiah-cloud.github.io/GAE.github.io/ Github: https://github.com/TencentARC/GAE-GeometricAutoEncoder

💡 一句话要点

提出几何原生潜在空间以解决3D一致性生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 几何一致性 潜在空间 自编码器 3D生成 视觉生成 深度学习 多模态融合

📋 核心要点

  1. 现有的视觉生成器在生成逼真图像时，未能保持一致的3D场景，导致生成结果的几何一致性不足。
  2. 本文提出了几何原生自编码器（GAE），通过将几何基础模型的特征重新参数化为紧凑的潜在空间，解决了生成与感知之间的表示问题。
  3. 在控制实验中，GAE替代传统潜在空间后，视觉质量和3D一致性均显著提升，FVD指标和相机轨迹误差均有显著改善。

📝 摘要（中文）

本文提出了一种紧凑的几何原生潜在空间，作为感知与生成的共享基础。现有的视觉生成器通常无法生成一致的3D场景，主要是由于其侧重于外观的潜在表示，而感知模型则在语义丰富的空间中恢复几何信息。我们通过几何原生自编码器（GAE）将几何基础模型的特征重新参数化为紧凑的潜在空间，从而实现生成任务的多样性。实验结果表明，GAE在视觉质量和3D一致性方面均有显著提升，FVD在RealEstate10K和DL3DV数据集上分别下降了12.7%和23.1%。

🔬 方法详解

问题定义：本文旨在解决现有视觉生成器在生成逼真图像时未能保持一致的3D场景的问题。现有方法通常侧重于外观的潜在表示，导致几何一致性不足。

核心思路：我们提出几何原生自编码器（GAE），通过将几何基础模型的特征重新参数化为紧凑的潜在空间，来实现生成任务的多样性和3D一致性。

技术框架：GAE的整体架构包括输入图像的编码、潜在空间的重参数化以及生成阶段。潜在空间能够同时解码外观、深度、相机和点图。

关键创新：GAE的最大创新在于其将几何信息与生成任务紧密结合，形成一个共享的潜在空间，显著提升了生成结果的几何一致性。

关键设计：在GAE中，我们设计了特定的损失函数以平衡外观与几何信息的重建，同时优化了网络结构以提高潜在空间的表达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用GAE替代传统潜在空间后，FVD在RealEstate10K和DL3DV数据集上分别下降了12.7%和23.1%，相机轨迹误差在RealEstate10K上减少了一半，表明GAE在视觉质量和3D一致性方面的显著提升。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发和自动驾驶等场景，能够为这些领域提供更为一致和真实的3D场景生成能力。通过提升生成结果的几何一致性，未来可以在多模态感知与生成任务中发挥重要作用。

📄 摘要（原文）

We present a compact geometry-native latent space as a shared foundation for perception and generation. Visual generators can produce photorealistic frames without preserving a consistent 3D scene. We argue that this is not only a modeling problem but also a representation problem: generators typically evolve appearance-centric latents, while perception models recover geometry in a semantically rich space that encodes cross-view structure. Rather than adding geometry as another output, we reparameterize a geometry foundation model's features into a compact latent space for generation. We realize this shift with the geometry-native autoencoder (GAE), whose latent is jointly decodable to appearance, depth, cameras, and point maps. With this state, a standard conditional flow supports diverse generation tasks. In controlled comparisons that hold the generator and training protocol fixed, replacing the latent with GAE improves both visual quality and independently measured 3D coherence: FVD falls by $12.7\%$ and $23.1\%$ on RealEstate10K and DL3DV, and camera-trajectory error is halved on RealEstate10K. Together, these results show that the latent space is central to geometry-consistent generation and can serve as a shared interface between perception and generation.