Unleashing the Multi-View Fusion Potential: Noise Correction in VLM for Open-Vocabulary 3D Scene Understanding

📄 arXiv: 2506.22817v1 📥 PDF

作者: Xingyilang Yin, Jiale Wang, Xi Yang, Mutian Xu, Xu Gu, Nannan Wang

分类: cs.CV

发布日期: 2025-06-28

💡 一句话要点

提出MVOV3D以解决开放词汇3D场景理解中的噪声问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇 3D场景理解 多视图融合 视觉-语言模型 CLIP编码器 噪声减少 语义分割 几何先验

📋 核心要点

  1. 现有的开放词汇3D场景理解方法在处理多样化物体类别时面临性能瓶颈，主要由于3D数据的稀缺性。
  2. MVOV3D通过减少视觉-语言模型中的固有噪声，优化2D多视图融合，从而提升开放词汇3D场景理解的能力。
  3. 实验结果显示，MVOV3D在多个数据集上取得了显著的性能提升，尤其在ScanNet200和Matterport160上创下新纪录。

📝 摘要（中文）

近年来，开放词汇3D场景理解方法主要通过对比学习点-文本对或通过点-像素对齐将2D特征蒸馏到3D模型。然而，这些方法在处理多样化物体类别时表现不佳，因3D数据的有限性限制了强开放词汇3D模型的训练。我们观察到2D多视图融合方法在理解3D场景中的多样化概念方面具有优势，但视觉-语言模型中的固有噪声导致多视图融合性能不佳。为此，我们提出MVOV3D，旨在释放2D多视图融合在开放词汇3D场景理解中的潜力。MVOV3D通过利用精确的区域级图像特征和由CLIP编码器编码的文本特征，结合3D几何先验来优化多视图融合，显著提升了开放世界能力。实验结果表明，MVOV3D在ScanNet200和Matterport160上分别达到了14.7%和16.2%的mIoU，显著超越当前领先的训练3D网络。

🔬 方法详解

问题定义：本论文旨在解决开放词汇3D场景理解中的固有噪声问题，现有方法在多样化物体类别的处理上存在性能不足，主要受限于3D数据的稀缺性。

核心思路：MVOV3D的核心思路是通过优化2D多视图融合，减少视觉-语言模型中的噪声，从而提升模型的开放世界能力，而不需要额外的训练过程。

技术框架：MVOV3D的整体架构包括多个模块：首先，利用CLIP编码器提取区域级图像特征和文本特征；其次，结合3D几何先验进行多视图融合；最后，通过优化算法提升融合效果。

关键创新：MVOV3D的关键创新在于其无训练噪声减少策略，显著提升了多视图融合的效果，与现有方法相比，能够更好地处理开放词汇场景。

关键设计：在技术细节上，MVOV3D采用了精确的区域级特征提取方法，并设计了特定的损失函数以优化多视图融合的效果，同时结合了3D几何信息以增强模型的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MVOV3D在ScanNet200和Matterport160数据集上分别取得了14.7%和16.2%的mIoU，显著超越了当前领先的训练3D网络，展示了其在开放词汇语义分割任务中的卓越性能。

🎯 应用场景

该研究在开放词汇3D场景理解领域具有广泛的应用潜力，能够为智能机器人、自动驾驶、虚拟现实等领域提供更为精准的环境理解能力，推动相关技术的发展与应用。

📄 摘要（原文）

Recent open-vocabulary 3D scene understanding approaches mainly focus on training 3D networks through contrastive learning with point-text pairs or by distilling 2D features into 3D models via point-pixel alignment. While these methods show considerable performance in benchmarks with limited vocabularies, they struggle to handle diverse object categories as the limited amount of 3D data upbound training strong open-vocabulary 3d models. We observe that 2D multi-view fusion methods take precedence in understanding diverse concepts in 3D scenes. However, inherent noises in vision-language models lead multi-view fusion to sub-optimal performance. To this end, we introduce MVOV3D, a novel approach aimed at unleashing the potential of 2D multi-view fusion for open-vocabulary 3D scene understanding. We focus on reducing the inherent noises without training, thereby preserving the generalizability while enhancing open-world capabilities. Specifically, MVOV3D improves multi-view 2D features by leveraging precise region-level image features and text features encoded by CLIP encoders and incorporates 3D geometric priors to optimize multi-view fusion. Extensive experiments on various datasets demonstrate the effectiveness of our method. Notably, our MVOV3D achieves a new record with 14.7% mIoU on ScanNet200 and 16.2% mIoU on Matterport160 for challenge open-vocabulary semantic segmentation, outperforming current leading trained 3D networks by a significant margin.