PanSt3R: Multi-view Consistent Panoptic Segmentation

📄 arXiv: 2506.21348v1 📥 PDF

作者: Lojze Zust, Yohann Cabon, Juliette Marrie, Leonid Antsfeld, Boris Chidlovskii, Jerome Revaud, Gabriela Csurka

分类: cs.CV

发布日期: 2025-06-26

备注: Accepted at ICCV 2025

💡 一句话要点

提出PanSt3R以解决多视角一致的全景分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 全景分割 3D重建 多视角学习 深度学习 计算机视觉

📋 核心要点

  1. 现有方法依赖于2D全景分割，未能充分利用3D场景的空间关系，导致性能受限。
  2. 论文提出的PanSt3R通过单次前向传播同时预测3D几何和多视角全景分割，消除了测试时优化的需求。
  3. 实验结果表明，PanSt3R在多个基准测试中实现了最先进的性能，且速度显著快于现有方法。

📝 摘要（中文）

3D场景的全景分割涉及对场景中物体实例的分割和分类，尤其在仅依赖未定向的2D图像时，这一问题尤为复杂。现有方法通常依赖现成模型提取每帧的2D全景分割，然后优化隐式几何表示（通常基于NeRF）来整合和融合2D预测。我们认为，依赖2D全景分割来解决本质上是3D和多视角的问题可能是次优的，因为它未能充分利用视角间的空间关系。此外，这些方法还需要相机参数，并且在每个场景上进行计算开销大的测试时优化。为此，我们提出了一种统一的集成方法PanSt3R，通过单次前向传播共同预测3D几何和多视角全景分割，从而消除了测试时优化的需求。我们的工作基于最近的3D重建进展，特别是MUSt3R，并增强了语义意识和多视角全景分割能力。整体而言，PanSt3R概念简单、快速且可扩展，在多个基准测试中实现了最先进的性能，同时比现有方法快几个数量级。

🔬 方法详解

问题定义：本论文旨在解决3D场景的全景分割问题，现有方法依赖于2D图像进行分割，未能有效利用多视角信息，导致性能不足。

核心思路：论文提出的PanSt3R方法通过联合预测3D几何和多视角全景分割，避免了传统方法中计算开销大的测试时优化，提升了效率和准确性。

技术框架：PanSt3R的整体架构包括3D几何预测模块和多视角分割模块，二者在前向传播过程中紧密结合，形成一个统一的预测系统。

关键创新：最重要的创新在于通过单次前向传播实现3D几何与全景分割的联合预测，这一设计使得模型在处理多视角数据时更为高效，克服了传统方法的局限。

关键设计：在模型设计中，采用了改进的损失函数以平衡几何和语义信息，同时在网络结构上引入了语义意识模块，增强了分割的准确性。具体参数设置和网络架构细节在论文中进行了详细描述。

📊 实验亮点

实验结果显示，PanSt3R在多个基准测试中达到了最先进的性能，相较于现有方法，速度提升了几个数量级，具体性能数据在论文中进行了详细比较，展示了其在效率和准确性上的显著优势。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航、虚拟现实和增强现实等场景，能够有效提升3D场景理解和交互体验。未来，PanSt3R的技术可以进一步应用于智能监控、城市建模等领域，具有广泛的实际价值。

📄 摘要（原文）

Panoptic segmentation of 3D scenes, involving the segmentation and classification of object instances in a dense 3D reconstruction of a scene, is a challenging problem, especially when relying solely on unposed 2D images. Existing approaches typically leverage off-the-shelf models to extract per-frame 2D panoptic segmentations, before optimizing an implicit geometric representation (often based on NeRF) to integrate and fuse the 2D predictions. We argue that relying on 2D panoptic segmentation for a problem inherently 3D and multi-view is likely suboptimal as it fails to leverage the full potential of spatial relationships across views. In addition to requiring camera parameters, these approaches also necessitate computationally expensive test-time optimization for each scene. Instead, in this work, we propose a unified and integrated approach PanSt3R, which eliminates the need for test-time optimization by jointly predicting 3D geometry and multi-view panoptic segmentation in a single forward pass. Our approach builds upon recent advances in 3D reconstruction, specifically upon MUSt3R, a scalable multi-view version of DUSt3R, and enhances it with semantic awareness and multi-view panoptic segmentation capabilities. We additionally revisit the standard post-processing mask merging procedure and introduce a more principled approach for multi-view segmentation. We also introduce a simple method for generating novel-view predictions based on the predictions of PanSt3R and vanilla 3DGS. Overall, the proposed PanSt3R is conceptually simple, yet fast and scalable, and achieves state-of-the-art performance on several benchmarks, while being orders of magnitude faster than existing methods.