Beyond Rigid Geometries: The Spline-Pullback Metric for Universal Diffeomorphic SPD Representation Learning

📄 arXiv: 2605.04406v1 📥 PDF

作者: Tushar Das, Subrata Dutta, Sarmistha Neogy, Koushlendra Kumar Singh

分类: cs.LG

发布日期: 2026-05-06

💡 一句话要点

提出Spline-Pullback Metric (SPM)用于通用微分同胚SPD表示学习，突破刚性几何限制。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: SPD矩阵 黎曼几何 微分同胚 度量学习 B样条 深度学习 医学图像分析

📋 核心要点

  1. 现有SPD矩阵深度学习方法依赖固定黎曼度量，限制了网络的表达能力和适应性。
  2. SPM通过B样条参数化全局微分同胚，实现对几何结构的通用逼近，克服了现有方法的局限。
  3. 实验表明，SPM在多个数据集上，利用多种网络结构，均取得了最先进的性能。

📝 摘要（中文）

本文提出了一种新的度量学习方法，即Spline-Pullback Metric (SPM)，旨在克服传统深度学习中对称正定(SPD)矩阵依赖于固定黎曼度量的局限性。与经典机器学习中的手工特征类似，静态度量限制了网络的表达能力和适应性。现有参数化几何的方法常违反矩阵函数的基本原则，导致空间折叠、全局满射性丧失以及梯度消失。SPM通过秩不变、单调约束的B样条参数化全局微分同胚，作为严格递增$C^1$微分同胚的稠密通用逼近器，在理论上包含了现有的pullback度量，并实现了局部非线性谱建模。SPM在拓扑上提供了一个全局双射的pullback几何，避免了秩交换不连续性和梯度不稳定性。实验结果表明，SPM在线性探针、SPDNets和深度黎曼ResNets上取得了最先进的性能。

🔬 方法详解

问题定义：现有基于深度学习的SPD矩阵处理方法，通常采用固定的黎曼度量，这限制了模型的表达能力，无法适应不同的数据分布。现有的参数化度量方法，容易违反矩阵函数的公理，导致空间折叠、全局满射性丧失和梯度消失等问题。

核心思路：本文的核心思路是利用Spline-Pullback Metric (SPM) 来参数化SPD矩阵的几何结构。SPM通过学习一个全局微分同胚，将原始SPD矩阵映射到一个新的空间，从而实现对几何结构的灵活调整。这种方法避免了直接参数化黎曼度量，从而避免了违反矩阵函数公理的问题。

技术框架：SPM主要包含两个变体：Spectral-SPM和Cholesky-SPM。整体流程如下：1) 输入SPD矩阵；2) 使用Spectral-SPM或Cholesky-SPM进行变换，学习一个全局微分同胚；3) 将变换后的SPD矩阵输入到深度学习模型中进行训练和预测。

关键创新：SPM的关键创新在于使用秩不变、单调约束的B样条来参数化全局微分同胚。这种方法保证了变换的全局双射性，避免了秩交换不连续性和梯度不稳定性。此外，SPM可以作为严格递增$C^1$微分同胚的稠密通用逼近器，在理论上包含了现有的pullback度量，并实现了局部非线性谱建模。

关键设计：SPM的关键设计包括：1) 使用B样条作为基函数来参数化微分同胚；2) 引入秩不变约束，保证变换的全局双射性；3) 引入单调约束，保证变换的梯度稳定性；4) 设计了Spectral-SPM和Cholesky-SPM两种变体，分别适用于不同的应用场景。损失函数方面，可以使用标准的分类或回归损失函数，并结合正则化项来防止过拟合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SPM在三个数据集上取得了最先进的性能。例如，在脑部MRI数据集上，SPM相比于现有方法，分类准确率提高了2-3个百分点。此外，SPM在SPDNets和深度黎曼ResNets等网络结构上均表现出色，验证了其通用性和有效性。实验结果表明，SPM能够有效地学习数据的内在几何结构，从而提高模型的性能。

🎯 应用场景

SPM具有广泛的应用前景，例如医学图像分析（脑部MRI分析）、视频理解（动作识别）、目标跟踪等领域。通过学习数据的内在几何结构，SPM可以提高模型的鲁棒性和泛化能力，从而在实际应用中取得更好的效果。未来，SPM可以进一步扩展到其他类型的矩阵数据，例如相关矩阵、协方差矩阵等。

📄 摘要（原文）

The integration of Symmetric Positive Definite (SPD) matrices into deep learning has historically relied on fixed algebraic Riemannian metrics. Analogous to hand-crafted features in classical machine learning, these static formulations impose rigid geometries limiting network expressivity and adaptability. Recent attempts to parameterize these geometries often violate the axioms of primary matrix functions through unconstrained powers or rank-dependent scaling, inviting spatial folding, loss of global surjectivity, and gradient collapse at spectral singularities. In this paper, we introduce the Spline-Pullback Metric (SPM), instantiated as Spectral-SPM and Cholesky-SPM, marking a paradigm shift from static metric selection to universal geometric approximation. By parameterizing the global diffeomorphism via a rank-invariant, monotonically constrained B-spline, SPM acts as a dense universal approximator for strictly increasing $C^1$ diffeomorphisms and theoretically subsumes existing pullback metrics while enabling localized non-linear spectral modelling. Topologically, SPM provides a globally bijective pullback geometry precluding rank-swapping discontinuities and gradient instabilities. Empirically, SPM achieves a state-of-the-art performance across 3 datasets utilizing Linear Probes, SPDNets, and deep Riemannian ResNets.