Latent Bridge: From Video Latents to 3D Geometry via Feature Alignment

📄 arXiv: 2610.28521v1 📥 PDF

作者: Shuai Zhang, Zhanpeng Ouyang, Zhengqing Chen, Ruohong Mei, Shaoyu Chen, Weiqiang Ren, Hui Sun, Qian Zhang, Wenyu Liu, Xinggang Wang

分类: cs.CV

发布日期: 2026-10-20

备注: Project page:https://shuaizhang7.github.io/latent-bridge-page/?case=car Code: https://github.com/hustvl/Latent-Bridge

🔗 代码/项目: GITHUB

💡 一句话要点

提出Latent Bridge以解决视频生成与3D重建的连接问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视频生成 3D重建 特征对齐 潜在空间 蒸馏训练 几何预测 高效生成 多模态融合

📋 核心要点

  1. 现有的视频生成与3D重建方法通常依赖于分开的表示，导致效率低下和信息损失。
  2. Latent Bridge通过连接视频生成潜在空间与几何特征空间，直接实现从视频潜在到3D几何的预测，简化了流程。
  3. 在Co3Dv2和WildRGB-D数据集上的实验结果显示，该方法在几何重建质量和生成效率上具有显著提升。

📝 摘要（中文）

视频生成和前馈3D重建通常使用分开的表示方式，需要RGB解码和视觉再编码来从生成的潜在空间恢复几何形状。我们提出Latent Bridge，直接从视频潜在空间预测3D几何形状，连接视频生成潜在空间与几何特征空间。通过特征蒸馏训练表示特定的桥接，支持相机、深度和3D点云的预测，无需中间RGB路径。实验表明，该方法在Co3Dv2和WildRGB-D数据集上实现了竞争力的几何重建质量和高效的生成与重建过程。

🔬 方法详解

问题定义：本论文旨在解决视频生成与3D重建之间的连接问题。现有方法需要RGB解码和视觉再编码，导致效率低下和信息损失。

核心思路：Latent Bridge通过特征对齐，直接从视频潜在空间预测3D几何，避免了中间RGB路径的使用，从而提高了效率和准确性。

技术框架：整体架构包括视频编码器、几何模型和表示特定的桥接。视频编码器和几何模型在训练过程中保持冻结，桥接通过特征蒸馏进行训练。

关键创新：最重要的创新在于提出了表示特定的桥接，能够在不需要真实几何数据的情况下，实现高效的几何预测。这一设计与现有方法的本质区别在于消除了对中间RGB路径的依赖。

关键设计：在训练过程中，采用特征蒸馏的方式进行桥接训练，损失函数设计为优化几何特征的对齐，确保视频潜在空间与几何特征空间的有效连接。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Latent Bridge在Co3Dv2和WildRGB-D数据集上实现了竞争力的几何重建质量，相较于传统方法，生成与重建的效率显著提高，且在潜在到几何的解码速度上表现出色，展示了其作为视频生成与3D重建之间实用接口的潜力。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和计算机动画等，能够为这些领域提供高效的3D重建解决方案。通过简化视频生成与几何重建的流程，Latent Bridge有望提升相关应用的实时性和交互性，推动技术的进一步发展。

📄 摘要（原文）

Video generation and feed-forward 3D reconstruction typically use separate representations, requiring RGB decoding and visual re-encoding to recover geometry from generated latents. We propose Latent Bridge, which connects video generative latent spaces with geometric feature spaces to directly predict 3D geometry from video latents. We develop representation-specific bridges for Wan2.1 and V-RAE, enabling feed-forward prediction of cameras, depth, and 3D point clouds without the intermediate RGB pathway. Each bridge is trained on RGB videos through feature distillation, while the video encoder and geometry model remain frozen. Training requires neither ground-truth geometry nor execution of the downstream geometric aggregator or prediction heads. At inference, the same video latents support both RGB decoding and geometry prediction. The same trained bridge can be reused for image-to-video and text-to-video generation within the same video latent space, without bridge retraining. Experiments on Co3Dv2 and WildRGB-D demonstrate competitive geometric reconstruction quality, efficient end-to-end generation and reconstruction, and faster latent-to-geometry decoding, highlighting latent alignment as a practical and reusable interface between video generation and 3D reconstruction. Our code is available at: https://github.com/hustvl/Latent-Bridge.