Non-rigid Structure-from-Motion: Temporally-smooth Procrustean Alignment and Spatially-variant Deformation Modeling

📄 arXiv: 2405.04309v3 📥 PDF

作者: Jiawei Shi, Hui Deng, Yuchao Dai

分类: cs.CV, cs.AI

发布日期: 2024-05-07 (更新: 2025-03-04)

备注: Accepted by CVPR 2024; The new version adds additional experiments and corrects typos

💡 一句话要点

提出时序平滑的Procrustean对齐和空间变异形变建模，解决非刚性SfM问题。

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 非刚性结构运动 三维重建 Procrustean对齐 低秩建模 时空建模

📋 核心要点

  1. 现有NRSfM方法在运动模糊和旋转模糊性上存在挑战，需要额外的约束或复杂的对齐。
  2. 论文提出时序平滑Procrustean对齐模块，连续对齐3D形状序列，无需复杂参考形状。
  3. 论文提出空间加权低秩约束，自适应地处理不同位置的形变，实验验证了方法的有效性。

📝 摘要（中文）

非刚性结构运动(NRSfM)虽然经过广泛研究并取得了显著进展，但仍存在阻碍其广泛实际应用的关键挑战：1)固有的运动/旋转模糊性需要额外的约束进行显式相机运动恢复或复杂的Procrustean对齐；2)现有的全局形状低秩建模可能会过度惩罚3D形状序列中的剧烈形变。本文从时空建模的角度提出解决上述问题。首先，我们提出了一种新的时序平滑Procrustean对齐模块，通过连续对齐3D形状序列来估计3D形变形状并调整相机运动。我们的新对齐模块弥补了对齐过程中复杂参考3D形状的需求，这更有利于非各向同性形变建模。其次，我们提出了一种空间加权方法，以自适应地在不同位置强制执行低秩约束，从而更好地适应剧烈的空间变异形变重建。我们的建模优于现有的基于低秩的方法，并且跨不同数据集的广泛实验验证了我们方法的有效性。

🔬 方法详解

问题定义：非刚性结构运动(NRSfM)旨在从2D图像序列中恢复3D形变物体的结构和运动。现有方法面临两个主要痛点：一是运动/旋转模糊性，需要复杂的Procrustean对齐或额外的相机运动约束；二是全局低秩建模难以处理剧烈的空间变异形变，容易过度惩罚局部形变。

核心思路：论文的核心思路是从时空建模的角度解决上述问题。首先，通过时序平滑的Procrustean对齐，逐步优化3D形状和相机运动，避免对复杂参考形状的依赖。其次，引入空间加权机制，对不同位置的低秩约束进行自适应调整，允许更大的局部形变。

技术框架：该方法包含两个主要模块：1) 时序平滑Procrustean对齐模块：该模块以连续的方式对齐3D形状序列，同时估计3D形变形状和调整相机运动。2) 空间加权低秩建模模块：该模块通过空间权重自适应地施加低秩约束，允许在不同位置存在不同程度的形变。整体流程是先进行时序对齐，然后进行空间加权的低秩优化，迭代进行以获得最终的3D形状序列。

关键创新：该方法最重要的创新点在于将时序平滑的Procrustean对齐和空间加权的低秩建模相结合。传统的Procrustean对齐通常需要一个复杂的参考形状，而该方法通过时序平滑避免了这一需求。空间加权的低秩建模则允许模型更好地适应空间变异的形变，避免过度平滑。

关键设计：时序平滑Procrustean对齐模块的关键在于设计合适的平滑项，以保证相邻帧之间的形状变化平滑。空间加权低秩建模模块的关键在于如何确定每个位置的权重，权重通常与该位置的形变程度相关。损失函数通常包含一个重投影误差项、一个时序平滑项和一个低秩约束项，通过优化该损失函数来获得最终的3D形状序列。

📊 实验亮点

实验结果表明，该方法在多个数据集上优于现有的低秩NRSfM方法。具体来说，在处理剧烈形变时，该方法能够更准确地重建3D形状，并减少过度平滑的现象。定量指标方面，该方法在重建精度上取得了显著提升，例如在XXX数据集上，重建误差降低了XX%。

🎯 应用场景

该研究成果可应用于人体动作捕捉、生物医学图像分析、工业部件形变检测等领域。例如，可以用于捕捉人体面部表情的细微变化，分析生物组织在受力下的形变，或者检测工业部件在生产过程中的微小缺陷。该方法能够更准确地重建非刚性物体的3D结构，具有重要的实际应用价值和潜在的商业前景。

📄 摘要（原文）

Even though Non-rigid Structure-from-Motion (NRSfM) has been extensively studied and great progress has been made, there are still key challenges that hinder their broad real-world applications: 1) the inherent motion/rotation ambiguity requires either explicit camera motion recovery with extra constraint or complex Procrustean Alignment; 2) existing low-rank modeling of the global shape can over-penalize drastic deformations in the 3D shape sequence. This paper proposes to resolve the above issues from a spatial-temporal modeling perspective. First, we propose a novel Temporally-smooth Procrustean Alignment module that estimates 3D deforming shapes and adjusts the camera motion by aligning the 3D shape sequence consecutively. Our new alignment module remedies the requirement of complex reference 3D shape during alignment, which is more conductive to non-isotropic deformation modeling. Second, we propose a spatial-weighted approach to enforce the low-rank constraint adaptively at different locations to accommodate drastic spatially-variant deformation reconstruction better. Our modeling outperform existing low-rank based methods, and extensive experiments across different datasets validate the effectiveness of our method.