LangScene-X: Reconstruct Generalizable 3D Language-Embedded Scenes with TriMap Video Diffusion

📄 arXiv: 2507.02813v1 📥 PDF

作者: Fangfu Liu, Hao Li, Jiawei Chi, Hanyang Wang, Minghui Yang, Fudong Wang, Yueqi Duan

分类: cs.CV

发布日期: 2025-07-03

备注: Project page: https://liuff19.github.io/LangScene-X

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出LangScene-X，通过TriMap视频扩散重建可泛化的3D语言嵌入场景

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 场景理解 视频扩散模型 语言嵌入 跨场景泛化

📋 核心要点

  1. 现有方法依赖于校准后的密集视角重建，在视角稀疏时存在渲染伪影和不合理的语义合成问题。
  2. LangScene-X利用TriMap视频扩散模型生成一致的新视角，并使用语言量化压缩器实现跨场景的语言嵌入泛化。
  3. 实验表明，LangScene-X在真实世界数据上，相比现有技术，在重建质量和泛化能力上均有显著提升。

📝 摘要（中文）

本文提出了一种名为LangScene-X的生成框架，旨在统一并生成3D一致的多模态信息，用于重建和理解场景。该框架利用生成模型创建更一致的新视角观测，从而仅从稀疏视角构建可泛化的3D语言嵌入场景。具体而言，首先训练一个TriMap视频扩散模型，该模型可以通过渐进式知识整合，从稀疏输入生成外观（RGB）、几何（法线）和语义（分割图）。此外，提出了一个语言量化压缩器（LQC），该压缩器在大规模图像数据集上训练，可以有效地编码语言嵌入，从而实现跨场景泛化，而无需进行逐场景重新训练。最后，通过将语言信息对齐到3D场景的表面，重建语言表面场，从而实现开放式的语言查询。在真实世界数据上的大量实验表明，LangScene-X在质量和泛化能力方面优于最先进的方法。

🔬 方法详解

问题定义：论文旨在解决从2D图像中恢复具有开放词汇场景理解的3D结构这一难题。现有方法通常依赖于逐场景优化，并需要校准后的密集视角图像。当视角稀疏时，这些方法会产生严重的渲染伪影和不合理的语义合成，泛化能力较差。

核心思路：论文的核心思路是利用生成模型（TriMap视频扩散模型）来生成更多一致的新视角观测，从而克服稀疏视角带来的问题。通过学习场景的先验知识，生成模型可以填补缺失的信息，并产生更鲁棒的3D重建结果。同时，使用语言量化压缩器（LQC）来编码语言信息，实现跨场景的语言嵌入泛化。

技术框架：LangScene-X框架主要包含以下几个阶段：1) TriMap视频扩散模型训练：该模型从稀疏输入生成外观（RGB）、几何（法线）和语义（分割图）。2) 语言量化压缩器（LQC）训练：LQC用于编码语言嵌入，实现跨场景泛化。3) 语言表面场重建：将语言信息对齐到3D场景的表面，实现开放式的语言查询。整体流程是从稀疏视角图像和语言描述开始，通过扩散模型生成多视角多模态信息，然后利用这些信息重建3D场景，并嵌入语言信息。

关键创新：论文的关键创新在于：1) 提出了TriMap视频扩散模型，能够从稀疏视角生成一致的多模态信息（RGB、法线、分割图），从而克服了传统方法对密集视角的依赖。2) 提出了语言量化压缩器（LQC），能够有效地编码语言嵌入，实现跨场景的语言嵌入泛化，避免了逐场景重新训练。3) 将语言信息嵌入到3D场景的表面，实现了开放式的语言查询。

关键设计：TriMap视频扩散模型采用了一种三分支结构，分别处理RGB、法线和分割图。LQC的设计目标是压缩语言嵌入，同时保留足够的语义信息，以便进行跨场景泛化。损失函数的设计需要平衡重建质量、语义一致性和语言嵌入的准确性。具体的网络结构和参数设置在论文中有详细描述，但此处无法完全展开。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LangScene-X在真实世界数据集上进行了广泛的实验，结果表明，该方法在3D重建质量和泛化能力方面均优于现有方法。具体而言，LangScene-X能够从稀疏视角生成高质量的3D场景，并能够根据用户的语言查询，准确地定位和识别场景中的物体。实验结果验证了LangScene-X的有效性和优越性。

🎯 应用场景

LangScene-X具有广泛的应用前景，包括：虚拟现实/增强现实（VR/AR）内容创作、机器人导航与场景理解、3D场景编辑与生成、以及基于语言的图像检索和场景理解等。该研究能够帮助机器更好地理解和交互真实世界，并为用户提供更自然、更智能的交互体验。

📄 摘要（原文）

Recovering 3D structures with open-vocabulary scene understanding from 2D images is a fundamental but daunting task. Recent developments have achieved this by performing per-scene optimization with embedded language information. However, they heavily rely on the calibrated dense-view reconstruction paradigm, thereby suffering from severe rendering artifacts and implausible semantic synthesis when limited views are available. In this paper, we introduce a novel generative framework, coined LangScene-X, to unify and generate 3D consistent multi-modality information for reconstruction and understanding. Powered by the generative capability of creating more consistent novel observations, we can build generalizable 3D language-embedded scenes from only sparse views. Specifically, we first train a TriMap video diffusion model that can generate appearance (RGBs), geometry (normals), and semantics (segmentation maps) from sparse inputs through progressive knowledge integration. Furthermore, we propose a Language Quantized Compressor (LQC), trained on large-scale image datasets, to efficiently encode language embeddings, enabling cross-scene generalization without per-scene retraining. Finally, we reconstruct the language surface fields by aligning language information onto the surface of 3D scenes, enabling open-ended language queries. Extensive experiments on real-world data demonstrate the superiority of our LangScene-X over state-of-the-art methods in terms of quality and generalizability. Project Page: https://liuff19.github.io/LangScene-X.