MuViSeg: Multi-View Segment Correspondences from Dense Geometry Priors

📄 arXiv: 2607.17938v1 📥 PDF

作者: Denis Fatykhoph, Timur Akhtyamov, Konstantin Pakulev, German Devchich, Gonzalo Ferrer

分类: cs.CV

发布日期: 2026-07-20

备注: 16 pages, 4 figures

💡 一句话要点

提出MuViSeg以解决多视角图像分割对应问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像分割 多视角匹配 自注意力机制 机器人导航 深度学习

📋 核心要点

  1. 现有方法在处理图像对应时，往往局限于稀疏关键点或密集像素，无法有效支持对象级别的推理需求。
  2. 本文提出了一种基于实例分割的匹配方法，设计了三种学习匹配头，特别是多视角扩展以增强匹配能力。
  3. 实验结果显示，所提方法在Replica和Virtual KITTI 2数据集上显著提升了AUPRC，并在RoboHop导航中提高了成功率。

📝 摘要（中文）

传统的图像对应问题通常在稀疏关键点或密集像素层面解决，但这些匹配结果往往无法满足对象级别的映射、拓扑导航和场景图维护等需求。本文在实例分割的基础上，提出了三种学习匹配头，其中最重要的是多视角扩展，通过对多个视角的分割进行联合自注意力处理，恢复了严格的成对匹配器无法达到的传递对应关系。在Replica和Virtual KITTI 2数据集上进行的实验表明，所提出的方法在多个指标上均有显著提升，尤其是在RoboHop拓扑导航管道中，成功率从50%提升至70%。

🔬 方法详解

问题定义：本文旨在解决传统图像对应方法在对象级别推理中的不足，尤其是在处理多个视角图像时的匹配问题。现有方法往往依赖于稀疏特征或密集像素，无法有效捕捉到对象的整体信息。

核心思路：论文提出了一种基于实例分割的匹配框架，通过引入多视角自注意力机制，能够在多个视角中同时处理分割信息，从而恢复更为复杂的对应关系。

技术框架：整体架构包括三个主要模块：LightGlue风格的注意力头、DPT风格的多尺度融合模块，以及多视角扩展模块。每个模块在处理分割特征时都发挥着重要作用。

关键创新：最重要的创新在于多视角扩展模块，它通过联合自注意力机制处理来自不同视角的分割，能够捕捉到传统成对匹配器无法识别的传递对应关系。

关键设计：在设计中，使用了DoubleSoftmax评分机制来优化匹配过程，同时在多尺度融合模块中引入了VGGT基础模型的分层空间细节，以增强特征的表达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的LightGlue风格匹配头在Replica数据集上相较于无参数的Sinkhorn匹配器提升了4.85 AUPRC，在Virtual KITTI 2上提升了25.9 AUPRC。此外，应用于RoboHop拓扑导航管道后，成功率从50%提升至70%，SPL从45.7提升至59.1，展现了显著的实际效果。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、增强现实和自动驾驶等场景。在这些领域中，准确的对象级别匹配对于环境理解和决策制定至关重要。未来，该方法有望进一步推动多视角图像处理技术的发展，提升智能系统的自主性和智能化水平。

📄 摘要（原文）

Classical image correspondence is solved at the level of sparse keypoints or dense pixels, but the systems that consume these matches - object-level mapping, topological navigation, scene-graph maintenance - reason about whole objects. Recent work narrows this gap by matchng directly at the level of instance segments: a class-agnostic segmenter partitions each image, and per-segment descriptors are obtained by pooling features from large 3D foundation models over the masks. We build on this segment-level matching paradigm and propose three learned matching heads: a LightGlue-style attention head with DoubleSoftmax scoring on frozen MASt3R descriptors; a DPT-style multi-scale fusion module that exposes layered spatial detail from the VGGT foundation model before pooling; and - as our main contribution - a multi-view extension that performs joint self-attention over segments drawn from several views at once, recovering transitive correspondences that strictly pairwise matchers cannot reach. Under a stratified zero-shot protocol on Replica and Virtual KITTI 2 with controlled viewpoint baselines from 0 deg to 180 deg, the LightGlue-style head improves over a parameter-free Sinkhorn matcher on the same MASt3R backbone by +4.85 AUPRC on Replica and +25.9 AUPRC on Virtual KITTI 2. Dropped into the RoboHop topological navigation pipeline on the Habitat-Matterport 3D (HM3D) Instance Image Navigation benchmark without retraining, our multi-view variant raises success rate from 50% to 70%, and our LightGlue-style head raises SPL from 45.7 to 59.1.