Know Your Neighbors: Improving Single-View Reconstruction via Spatial Vision-Language Reasoning

📄 arXiv: 2404.03658v1 📥 PDF

作者: Rui Li, Tobias Fischer, Mattia Segu, Marc Pollefeys, Luc Van Gool, Federico Tombari

分类: cs.CV

发布日期: 2024-04-04

备注: CVPR 2024. Project page: https://ruili3.github.io/kyn

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出KYN以解决单视图重建中的空间视觉语言推理问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单视图重建 空间推理 视觉-语言融合 深度学习 3D几何恢复

📋 核心要点

  1. 现有的单视图重建方法在处理遮挡区域时表现不佳，无法有效推断缺失的几何信息。
  2. 本文提出KYN方法，通过结合语义知识和空间上下文推理，提升了密度预测的准确性。
  3. KYN在KITTI-360数据集上实现了最先进的重建效果，并在零-shot泛化能力上优于以往工作。

📝 摘要（中文）

从单一视角恢复3D场景几何是计算机视觉中的一个基本而复杂的问题。传统的深度估计方法仅能推断出局限于图像平面的2.5D场景表示，而基于辐射场的最新方法则能重建完整的3D表示。然而，这些方法在处理遮挡区域时仍然面临挑战，因为在没有视觉观察的情况下推断几何形状需要对周围环境的语义知识和空间上下文的推理。本文提出了一种新方法KYN，通过推理语义和空间上下文来预测每个点的密度。我们引入了视觉-语言调制模块，以细化语义信息丰富点特征，并通过语言引导的空间注意机制聚合场景中的点表示，从而生成对3D语义上下文敏感的每点密度预测。实验表明，KYN在3D形状恢复方面优于孤立预测每个3D点密度的方法，并在KITTI-360数据集上实现了最先进的场景和物体重建结果，同时在零-shot泛化能力上也有所提升。

🔬 方法详解

问题定义：本文旨在解决从单视图重建3D场景几何的问题，现有方法在处理遮挡区域时存在显著不足，无法有效推断缺失的几何信息。

核心思路：KYN方法通过结合语义知识和空间上下文推理，增强了对每个点密度的预测能力，从而改善了重建效果。

技术框架：KYN的整体架构包括视觉-语言调制模块和语言引导的空间注意机制。前者用于丰富点特征，后者则用于聚合场景中的点表示，以生成对3D语义上下文敏感的密度预测。

关键创新：KYN的主要创新在于引入了视觉-语言调制模块和语言引导的空间注意机制，这与传统方法孤立预测每个3D点密度的方式有本质区别。

关键设计：在网络结构上，KYN采用了多层次的特征提取和融合策略，损失函数设计上则考虑了语义一致性和空间关系，以确保生成的密度预测更加准确。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在KITTI-360数据集上，KYN方法在场景和物体重建任务中达到了最先进的结果，具体性能提升幅度超过了现有基线，尤其在零-shot泛化能力方面表现显著优于以往研究。

🎯 应用场景

该研究在自动驾驶、虚拟现实和增强现实等领域具有广泛的应用潜力。通过提高单视图重建的准确性，KYN能够为这些应用提供更为真实的3D场景表示，进而提升用户体验和系统性能。

📄 摘要（原文）

Recovering the 3D scene geometry from a single view is a fundamental yet ill-posed problem in computer vision. While classical depth estimation methods infer only a 2.5D scene representation limited to the image plane, recent approaches based on radiance fields reconstruct a full 3D representation. However, these methods still struggle with occluded regions since inferring geometry without visual observation requires (i) semantic knowledge of the surroundings, and (ii) reasoning about spatial context. We propose KYN, a novel method for single-view scene reconstruction that reasons about semantic and spatial context to predict each point's density. We introduce a vision-language modulation module to enrich point features with fine-grained semantic information. We aggregate point representations across the scene through a language-guided spatial attention mechanism to yield per-point density predictions aware of the 3D semantic context. We show that KYN improves 3D shape recovery compared to predicting density for each 3D point in isolation. We achieve state-of-the-art results in scene and object reconstruction on KITTI-360, and show improved zero-shot generalization compared to prior work. Project page: https://ruili3.github.io/kyn.