Stable-SCore: A Stable Registration-based Framework for 3D Shape Correspondence

📄 arXiv: 2503.21766v1 📥 PDF

作者: Haolin Liu, Xiaohang Zhan, Zizheng Yan, Zhongjin Luo, Yuxin Wen, Xiaoguang Han

分类: cs.CV, cs.AI

发布日期: 2025-03-27

备注: Accepted by CVPR 2025. Homepage: https://haolinliu97.github.io/Stable-Score/

💡 一句话要点

提出Stable-SCore框架，通过稳定配准实现更鲁棒的3D形状对应

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D形状对应 形状配准 语义流 网格变形 非等距形状 计算机视觉 图形学

📋 核心要点

  1. 现有函数映射方法在处理非等距形状等复杂真实场景时，对应关系建立的鲁棒性不足。
  2. Stable-SCore框架利用稳定的2D对应关系引导3D网格变形，实现更可靠的形状对应。
  3. 实验表明，该框架在具有挑战性的场景中优于现有方法，为实际应用提供了可能性。

📝 摘要（中文）

建立角色形状对应是计算机视觉和图形学中的一项关键且基础的任务，其应用包括重新拓扑、属性迁移和形状插值等。目前主流的函数映射方法在受控场景下有效，但在更复杂的真实场景中，面对非等距形状差异等挑战时表现不佳。为了解决这个问题，我们重新审视了基于配准的对应方法，并挖掘其在更稳定形状对应估计方面的潜力。为了克服其常见问题，包括不稳定的变形以及需要仔细的预对齐或高质量的初始3D对应，我们提出了Stable-SCore：一个基于稳定配准的3D形状对应框架。我们首先重新利用一个用于2D角色对应的基础模型，以确保可靠和稳定的2D映射。至关重要的是，我们提出了一种新颖的语义流引导配准方法，该方法利用2D对应来引导网格变形。我们的框架在具有挑战性的场景中显著超越了现有方法，并为广泛的实际应用带来了可能性，正如我们的结果所展示的那样。

🔬 方法详解

问题定义：论文旨在解决3D形状对应问题，特别是在非等距形状差异等复杂场景下，现有函数映射方法鲁棒性不足的问题。现有方法通常需要高质量的初始对应或预对齐，且容易产生不稳定的形变，限制了其在实际应用中的效果。

核心思路：论文的核心思路是利用稳定的2D对应关系来引导3D网格的变形，从而实现更鲁棒的3D形状对应。通过将问题分解为稳定的2D对应和语义引导的3D配准两个阶段，降低了直接进行3D对应估计的难度。

技术框架：Stable-SCore框架主要包含以下几个阶段：1) 利用预训练的2D角色对应模型生成稳定的2D对应关系；2) 基于2D对应关系，提出语义流引导配准方法，将2D对应信息转化为3D网格变形的约束；3) 通过优化配准过程，得到最终的3D形状对应关系。

关键创新：该方法最重要的创新点在于提出了语义流引导配准方法，它利用2D对应关系作为3D配准的引导，克服了传统配准方法对初始对齐的依赖和容易陷入局部最优的问题。这种方法将2D的语义信息融入到3D配准中，提高了配准的稳定性和准确性。

关键设计：框架的关键设计包括：1) 使用预训练的2D角色对应模型，保证2D对应关系的稳定性和可靠性；2) 设计语义流损失函数，将2D对应关系转化为3D网格变形的约束；3) 通过优化算法，最小化语义流损失，得到最终的3D形状对应关系。具体的损失函数和优化算法细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出的Stable-SCore框架在具有挑战性的非等距形状对应场景中取得了显著的性能提升。实验结果表明，该方法在对应精度和鲁棒性方面均优于现有的函数映射方法和其他基于配准的方法。具体的数据指标和对比结果在论文的实验部分有详细展示。

🎯 应用场景

该研究成果可广泛应用于计算机动画、游戏开发、3D模型编辑等领域。例如，可以用于实现角色模型的自动绑定、动画迁移、模型变形和风格迁移等功能。通过建立准确的形状对应关系，可以方便地将一个模型的属性（如纹理、材质、动画）迁移到另一个模型上，从而大大提高3D内容创作的效率。

📄 摘要（原文）

Establishing character shape correspondence is a critical and fundamental task in computer vision and graphics, with diverse applications including re-topology, attribute transfer, and shape interpolation. Current dominant functional map methods, while effective in controlled scenarios, struggle in real situations with more complex challenges such as non-isometric shape discrepancies. In response, we revisit registration-for-correspondence methods and tap their potential for more stable shape correspondence estimation. To overcome their common issues including unstable deformations and the necessity for careful pre-alignment or high-quality initial 3D correspondences, we introduce Stable-SCore: A Stable Registration-based Framework for 3D Shape Correspondence. We first re-purpose a foundation model for 2D character correspondence that ensures reliable and stable 2D mappings. Crucially, we propose a novel Semantic Flow Guided Registration approach that leverages 2D correspondence to guide mesh deformations. Our framework significantly surpasses existing methods in challenging scenarios, and brings possibilities for a wide array of real applications, as demonstrated in our results.