On Unsupervised Partial Shape Correspondence
作者: Amit Bracha, Thomas Dagès, Ron Kimmel
分类: cs.CV
发布日期: 2023-10-23 (更新: 2024-10-30)
备注: Updated version, accepted for publication at the Asian Conference on Computer Vision (ACCV) 2024
💡 一句话要点
提出一种新方法以解决无监督部分形状对应问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 无监督学习 形状匹配 功能映射 特征匹配 计算机视觉 三维重建 形状分析
📋 核心要点
- 现有的功能映射方法在处理部分形状匹配时引入了不可避免的误差，影响了学习能力。
- 论文提出了一种新方法，通过特征匹配直接建立部分和完整形状之间的对应关系，避免了功能映射的中间步骤。
- 在SHREC'16数据集上，该方法的表现优于现有无监督方法，并在SHREC'16 HOLES基准测试中取得了最先进的结果。
📝 摘要（中文）
在处理形状与其部分的匹配时，通常使用功能映射工具。然而，现有方法在部分性引入时会导致匹配误差，且这种误差随着形状部分性的增加而加剧。为了解决这一问题，本文提出了一种新颖的部分形状匹配方法，通过特征匹配直接建立部分形状与完整形状之间的对应关系，避免了功能映射的中间空间。我们构建了损失函数的第一部分，基于度量空间之间的Gromov距离，并使用两个正则化选项。实验结果表明，该方法在SHREC'16数据集上表现优越，超越了现有的无监督部分形状匹配方法，并在SHREC'16 HOLES基准测试中达到了最先进的结果。此外，该方法在新的PFAUST数据集上也展示了良好的部分到完整形状对应能力。
🔬 方法详解
问题定义：本文旨在解决无监督部分形状匹配中的误差问题，现有的功能映射方法在引入部分性时会导致匹配精度下降，影响系统的学习能力。
核心思路：论文提出通过特征匹配直接建立部分形状与完整形状的对应关系，避免了功能映射的中间空间，从而减少了误差的引入。
技术框架：整体方法包括特征提取、特征匹配和损失函数构建三个主要模块。首先提取形状特征，然后通过特征匹配建立对应关系，最后构建损失函数进行优化。
关键创新：最重要的创新在于通过Gromov距离构建损失函数，直接在度量空间中进行优化，避免了传统方法中的功能映射步骤。
关键设计：损失函数包含基于面积保持特性的正则化项，以及一个放松版本，避免了对功能映射的依赖。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在SHREC'16数据集上表现优越，超越了现有的无监督部分形状匹配方法，尤其在SHREC'16 HOLES基准测试中达到了最先进的结果。此外，该方法在PFAUST数据集上的应用也显示出良好的性能提升。
🎯 应用场景
该研究的潜在应用领域包括计算机图形学、机器人视觉和形状分析等。通过提高部分形状匹配的准确性，该方法可以在三维重建、物体识别和形状检索等任务中发挥重要作用，具有广泛的实际价值和未来影响。
📄 摘要（原文）
While dealing with matching shapes to their parts, we often apply a tool known as functional maps. The idea is to translate the shape matching problem into "convenient" spaces by which matching is performed algebraically by solving a least squares problem. Here, we argue that such formulations, though popular in this field, introduce errors in the estimated match when partiality is invoked. Such errors are unavoidable even for advanced feature extraction networks, and they can be shown to escalate with increasing degrees of shape partiality, adversely affecting the learning capability of such systems. To circumvent these limitations, we propose a novel approach for partial shape matching. Our study of functional maps led us to a novel method that establishes direct correspondence between partial and full shapes through feature matching bypassing the need for functional map intermediate spaces. The Gromov Distance between metric spaces leads to the construction of the first part of our loss functions. For regularization we use two options: a term based on the area preserving property of the mapping, and a relaxed version that avoids the need to resort to functional maps. The proposed approach shows superior performance on the SHREC'16 dataset, outperforming existing unsupervised methods for partial shape matching.Notably, it achieves state-of-the-art results on the SHREC'16 HOLES benchmark, superior also compared to supervised methods. We demonstrate the benefits of the proposed unsupervised method when applied to a new dataset PFAUST for part-to-full shape correspondence.