Unconstrained Multi-view Human Pose Estimation with Algebraic Priors

📄 arXiv: 2604.24312v1 📥 PDF

作者: Xiaolin Qin, Qianlei Wang, Jiacen Liu, Chaoning Zhang, Fei Zhu, Zhang Yi

分类: cs.CV, cs.AI

发布日期: 2026-04-27

💡 一句话要点

提出基于代数先验的无约束多视角人体姿态估计框架，无需相机标定。

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 多视角人体姿态估计 无标定 代数先验 深度学习 Transformer Gröbner基 时间一致性

📋 核心要点

  1. 现有多视角人体姿态估计方法依赖精确的相机标定，限制了其在实际场景中的应用。
  2. 论文提出结合深度学习、代数先验和时间动态性的框架，无需相机标定即可实现多视角人体姿态估计。
  3. 实验结果表明，该方法在标准数据集上取得了领先性能，显著缩小了与标定方法的差距。

📝 摘要（中文）

本文提出了一种无约束框架，结合深度神经网络、代数先验和时间动态性，用于未标定的多视角人体姿态估计。该框架包含三个主要模块：首先，Triangulation with Transformer Regressor (TTR) 将经典三角测量重构为数据驱动的token融合过程，避免了对显式相机参数的依赖。其次，Gröbner basis Corrector (GC) 通过引入基于多视角几何约束的损失函数，确保神经网络的预测严格遵守射影几何定律。最后，Temporal Equivariant Rectifier (TER) 利用人体运动的等变性，施加时间一致性和结构一致性，有效缓解了未标定环境下的尺度模糊问题。在标准基准测试上的大量评估表明，该框架为未标定的多视角人体姿态估计建立了新的技术水平，显著缩小了无标定方法与完全标定方法之间的性能差距。

🔬 方法详解

问题定义：现有多视角人体姿态估计方法严重依赖精确的相机标定，但在许多实际场景中，相机标定信息难以获取或精度不足。这限制了这些方法在真实世界中的应用，因此，如何在无相机标定的情况下进行准确的多视角人体姿态估计是一个重要的挑战。

核心思路：论文的核心思路是将深度学习与多视角几何的代数先验知识相结合，通过数据驱动的方式学习多视角几何关系，并利用时间动态性约束来提高姿态估计的准确性和鲁棒性。具体来说，通过Transformer结构学习视角间的对应关系，利用Gröbner基校正模块强制执行多视角几何约束，并利用时间等变性来稳定估计结果。

技术框架：整体框架包含三个主要模块：1) Triangulation with Transformer Regressor (TTR)：使用Transformer结构学习不同视角之间的特征对应关系，并将三角测量过程转化为数据驱动的token融合过程，从而避免对相机参数的依赖。2) Gröbner basis Corrector (GC)：利用Gröbner基理论，将多视角几何约束转化为损失函数，强制神经网络的预测结果满足射影几何定律。3) Temporal Equivariant Rectifier (TER)：利用人体运动的时间等变性，对时间序列上的姿态估计结果进行校正，保证时间一致性和结构一致性。

关键创新：论文的关键创新在于将多视角几何的代数先验知识显式地嵌入到深度学习框架中。传统的深度学习方法通常将多视角几何关系隐式地学习到网络参数中，而本文通过Gröbner基校正模块，将多视角几何约束转化为可微分的损失函数，从而能够更有效地利用多视角几何信息。此外，TTR模块通过Transformer结构学习视角间的对应关系，避免了对相机参数的依赖，也具有一定的创新性。

关键设计：TTR模块使用Transformer编码器-解码器结构，编码器用于提取每个视角的特征，解码器用于融合不同视角的特征并预测3D坐标。GC模块使用Gröbner基计算多视角几何约束，并将这些约束转化为损失函数，损失函数的设计需要保证可微分性。TER模块利用人体运动的等变性，设计了一个时间校正网络，该网络可以学习到人体运动的统计规律，并利用这些规律来校正姿态估计结果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在Human3.6M和MPI-INF-3DHP数据集上进行了评估，实验结果表明，该方法在无标定多视角人体姿态估计任务上取得了state-of-the-art的性能。与之前的无标定方法相比，该方法在精度上有显著提升，并且缩小了与完全标定方法之间的性能差距。例如，在Human3.6M数据集上，该方法在MPJPE指标上取得了显著的提升。

🎯 应用场景

该研究成果可应用于无需预先标定的多摄像头监控系统、运动捕捉、虚拟现实/增强现实等领域。在这些场景中，相机参数往往难以获取或精度不高，该方法能够提供更准确、更鲁棒的人体姿态估计，具有重要的实际应用价值。未来，该方法可以进一步扩展到其他物体的三维重建和姿态估计任务中。

📄 摘要（原文）

Recovering 3D human pose from multi-view imagery typically relies on precise camera calibration, which is often unavailable in real-world scenarios, thereby severely limiting the applicability of existing methods. To overcome this challenge, we propose an unconstrained framework that synergizes deep neural networks, algebraic priors, and temporal dynamics for uncalibrated multi-view human pose estimation. First, we introduce the Triangulation with Transformer Regressor (TTR), which reformulates classical triangulation into a data-driven token fusion process to bypass the dependency on explicit camera parameters. Second, to explicitly embed the inherent algebraic relations of the multi-view variety into the learning process, we propose the Gröbner basis Corrector (GC). This pioneering loss formulation enforces constraints derived from the multi-view variety to ensure the neural predictions strictly adhere to the laws of projective geometry. Finally, we devise the Temporal Equivariant Rectifier (TER), which exploits the equivariance property of human motion to impose temporal coherence and structural consistency, effectively mitigating scale ambiguity in uncalibrated settings. Extensive evaluations on standard benchmarks demonstrate that our framework establishes a new state-of-the-art for uncalibrated multi-view human pose estimation. Notably, our approach significantly closes the performance gap between calibration-free methods and fully calibrated oracles.