Latent Riemannian Flow Matching for Geometry-Grounded 3D Foundation Models
作者: Lisa Weijler, Irene Ballester, Guofeng Mei, Tolga Birdal, Pedro Hermosilla
分类: cs.CV
发布日期: 2026-07-21
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出流匹配方法以解决3D生成模型的几何限制问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 几何基础模型 3D生成 流匹配 Riemannian流匹配 视觉几何基础变换器 高维超球面 计算机视觉 场景生成
📋 核心要点
- 现有几何基础模型在生成3D场景时受限于输入视图，无法超越直接支持的几何形状。
- 本文提出在VGGT的潜在空间中进行流匹配，利用其学习到的3D先验，避免了对显式下游表示的依赖。
- 在多个数据集上，所提方法在每视图外观和聚合3D几何方面均超越了现有场景生成基线，显示出其有效性。
📝 摘要（中文）
几何基础模型如视觉几何基础变换器（VGGT）能够从无姿态图像中提供强大的3D先验，但其生成能力受限于输入视图。本文通过在VGGT的潜在空间中直接进行流匹配，结合其学习到的3D先验，提出了一种新的Riemannian流匹配框架，解决了标准欧几里得流匹配在高维超球面上的失效问题。实验表明，该方法在RealEstate10K、ScanNet++和ETH3D数据集上表现优异，推动了几何基础模型在3D生成中的应用。
🔬 方法详解
问题定义：本文旨在解决现有几何基础模型在生成3D场景时的局限性，特别是其无法生成超出输入视图支持的几何形状的问题。现有方法通常依赖于显式的几何表示，如高斯分布或网格，导致生成的灵活性不足。
核心思路：论文提出通过在VGGT的潜在空间中进行流匹配，利用其学习到的3D先验信息，避免对传统几何表示的依赖。这种方法尊重潜在几何结构，使得生成的3D场景更为连贯。
技术框架：整体架构包括在VGGT的多尺度编码器上定义的Riemannian流匹配框架，确保生成的标记保持在有效的数据流形上。该框架利用四个超球面的乘积流形，解决了标准流匹配在高维空间中的失效问题。
关键创新：最重要的技术创新在于提出了一种新的Riemannian流匹配方法，能够在高维超球面上有效进行流匹配，与传统的欧几里得流匹配方法相比，显著提升了生成的几何一致性。
关键设计：在设计中，采用了多尺度编码器结构，确保生成的标记符合VGGT的潜在几何特性。此外，损失函数的设计也考虑了保持生成标记在有效数据流形上的要求。该方法的参数设置经过精细调整，以优化生成效果。
🖼️ 关键图片
📊 实验亮点
在RealEstate10K、ScanNet++和ETH3D数据集上，所提方法在每视图外观和聚合3D几何方面均超越了最新的场景生成基线，显示出显著的性能提升，验证了潜在空间流匹配在几何基础模型中的有效性。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、游戏开发和建筑可视化等，能够为3D场景生成提供更高的灵活性和一致性。未来，该方法可能推动更多基于几何先验的生成模型的发展，提升计算机视觉和图形学领域的应用效果。
📄 摘要（原文）
Geometric foundation models, such as the Visual Geometry Grounded Transformer (VGGT), provide strong 3D priors from unposed images. However, such models operate purely in a feed-forward, deterministic regime, \ie~they cannot generate plausible geometry beyond what the input views directly support. Generative models for 3D scenes, on the other hand, must rely on strong geometric priors to produce coherent outputs from sparse inputs. We bridge these two paradigms by performing flow matching directly in VGGT's latent space, leveraging its learned 3D priors without committing to any explicit downstream representation such as Gaussians, meshes, or video-VAE latents. This requires respecting the latent geometry: VGGT tokens occupy a product of high-dimensional hyperspheres on which standard Euclidean flow matching fails. We address this with a Riemannian Flow Matching framework defined on a product manifold of four hyperspheres, aligned with VGGT's multi-scale encoder, which keeps generated tokens on the valid data manifold required by the frozen decoding heads. On RealEstate10K, ScanNet++ and ETH3D, our method achieves strong performance against recent scene generation baselines in both per-view appearance and aggregated 3D geometry, establishing latent-space flow matching on geometric foundation models as a viable paradigm for 3D generation. The project page can be found $\href{https://lisaweijler.github.io/geometry-grounded-rfm/}{\text{here}}$.