Extending a Large View Synthesis Model for Multi-view Panoptic Segmentation

📄 arXiv: 2607.19765v1 📥 PDF

作者: Kwonyoung Ryu, In-Jae Lee, Jonghyun Jin, Hyunjee Lee, Jongmin Lee, Jaesik Park

分类: cs.CV

发布日期: 2026-07-22

备注: Accepted to ECCV 2026. 31 pages, 7 figures, 9 tables. Project page: https://kwonyoung9120.github.io/PanopticLVSM/

💡 一句话要点

提出一种新方法以扩展大视图合成模型用于多视角全景分割

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 全景分割 大视图合成 3D场景理解 标签传播 计算机视觉

📋 核心要点

  1. 现有方法在多视角全景分割中依赖显式的3D重建，导致计算复杂且效率低下。
  2. 本文提出了一种利用冻结的大视图合成模型，直接从输入视图传播全景标签到新视图的方法，避免了3D重建。
  3. 在ScanNet数据集上，所提方法的分割质量与高斯方法相当，但在新视图合成中性能提升超过7 dB。

📝 摘要（中文）

大视图合成模型通过跨视图注意力合成新视图，而无需显式的3D表示。近期研究表明，这些模型仅通过RGB监督学习到准确的空间对应关系。本文观察到，这种对应关系超越了外观，当将二进制编码的全景标签传递给模型时，它们以一致的空间结构传播到新视图。基于这一观察，本文首次将大视图合成模型扩展到3D场景理解，提出了一种全景分割管道，利用冻结的视图合成模型将全景标签从输入视图传播到新视图，而无需3D重建或对视图合成模型进行特定的分割训练。在ScanNet上，我们的方法在分割质量上与需要显式3D重建的高斯方法相当，同时在新视图合成中超出7 dB。标签传播在不同数据集间也能转移，在Replica上超越这些方法，且无需微调。

🔬 方法详解

问题定义：本文旨在解决多视角全景分割中对显式3D重建的依赖，现有方法在处理复杂场景时效率低下且计算成本高。

核心思路：通过观察到大视图合成模型能够在RGB监督下学习到的空间对应关系可以传播到全景标签，提出了一种新的全景分割管道，利用这一特性实现标签传播。

技术框架：整体架构包括输入视图的全景标签编码、通过冻结的视图合成模型进行标签传播、以及最终在目标视图中渲染分割结果。主要模块包括标签编码模块和视图合成模块。

关键创新：本研究的创新在于首次将大视图合成模型应用于3D场景理解，突破了传统方法对3D重建的依赖，实现了高效的全景分割。

关键设计：在模型设计上，采用二进制通道表示全景标签，损失函数设计上关注标签传播的准确性，确保在新视图中能够有效渲染分割结果。整体网络结构保持了视图合成模型的冻结状态，避免了额外的训练成本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提方法在ScanNet数据集上实现的分割质量与需要显式3D重建的高斯方法相当，同时在新视图合成中性能提升超过7 dB。此外，标签传播在不同数据集间有效转移，在Replica数据集上超越了相关方法，且无需微调，显示出良好的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和虚拟现实等场景理解任务。通过高效的全景分割方法，可以在复杂环境中实现更准确的物体识别和场景分析，提升智能系统的决策能力和交互体验。未来，该方法有望在更多实际应用中得到推广，推动相关技术的发展。

📄 摘要（原文）

Large view synthesis models synthesize novel views through cross-view attention without explicit 3D representations, and recent studies have shown that they learn accurate spatial correspondence from RGB supervision alone. We observe that this correspondence generalizes beyond appearance. When non-photorealistic signals such as binary encoded panoptic labels are passed through the model, they are propagated to novel views with consistent spatial structure. These results indicate that the correspondence learned for RGB view synthesis can also propagate view-independent per-pixel labels. From this observation, we present the first work to extend large view synthesis models beyond appearance rendering to 3D scene understanding. We propose a panoptic segmentation pipeline that reuses a frozen view synthesis model to propagate panoptic labels from input views to novel views, without 3D reconstruction or any segmentation-specific training of the view synthesis model. Given panoptic labels on the input views, we encode them into binary channel representations and pass them through the same model to render target-view segmentation. On ScanNet, our method achieves segmentation quality on par with Gaussian based approaches requiring explicit 3D reconstruction, while outperforming them in novel view synthesis by more than 7 dB. The label propagation also transfers across datasets, surpassing these approaches on Replica without any fine-tuning.