ORMA: Optimization-based Monocular 4D Reconstruction of Articulated Animals

📄 arXiv: 2609.37986v1 📥 PDF

作者: Xuyi Hu, Francesco Palandra, Shangzhe Wu, Daniel Cremers, Riccardo Marin, Silvia Zuffi

分类: cs.CV

发布日期: 2026-09-29

💡 一句话要点

提出ORMA框架以解决单目视频中动物四维重建问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 四维重建 单目视频 动物运动 计算机视觉 生成模型 自监督学习 多物种评估

📋 核心要点

  1. 现有的学习方法在处理未知物种时，往往只能恢复合理的姿态而无法准确重建几何形状。
  2. ORMA框架通过解耦关节运动与形状，利用生成的三维先验进行准确的形状重建，且无需训练。
  3. 在PAW4D等基准数据集上的实验结果表明，ORMA在重建精度和动物运动一致性上均有显著提升。

📝 摘要（中文）

从单目视频中恢复动物的四维表现形式仍然面临挑战，主要由于四足动物形态的多样性和缺乏动物四维监督数据。现有的基于学习的重建方法通常依赖于单幅图像，并需要合成或模型拟合的三维监督，这限制了其对未知物种的泛化能力。本文提出了ORMA，一个无训练的重建框架，通过将关节运动与形状解耦，利用预测的姿态作为优化参考，同时利用生成的三维先验进行准确的形状重建。实验表明，ORMA在多种四足动物的重建精度上有显著提升。

🔬 方法详解

问题定义：本文旨在解决从单目视频中恢复四维动物表现的问题。现有方法在处理未知物种时，常常依赖强参数先验，导致几何重建不准确。

核心思路：ORMA框架通过将关节运动与形状解耦，利用生成的三维先验进行形状重建，避免了对训练数据的依赖。

技术框架：该框架主要包括三个模块：首先，利用参考图像重建动物几何形状；其次，将重建的形状与参数模型SMAL+进行配准；最后，结合每帧的关节姿态估计与全局一致的相机姿态，恢复动物在共享世界坐标系中的运动。

关键创新：ORMA的核心创新在于其训练-free的特性，通过解耦关节与形状，克服了现有方法对强参数先验的依赖，提升了对未知物种的适应性。

关键设计：在重建过程中，采用自监督的DINO对应关系和时间一致性进行进一步优化，确保重建的几何形状与运动的一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在PAW4D、PFERD及复杂的野外视频实验中，ORMA显著提高了重建精度，恢复的动物运动在多种四足物种中保持全球一致性，展示了较传统方法的明显优势。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在动物行为分析、生态监测和虚拟现实等领域。通过准确重建动物的四维表现，研究人员可以更好地理解动物的运动模式和行为特征，从而推动生物学和计算机视觉的交叉研究。

📄 摘要（原文）

Recovering articulated 4D representations of animals from monocular videos remains challenging due to the large diversity of quadruped morphologies and lack of animal 4D supervision data. Existing learning-based reconstruction methods operate on individual images and rely on synthetic or model-fitted 3D supervision, which inherits the constraints of strong parametric priors and limits generalization to out-of-distribution species. When applied to out-of-distribution animals, they often recover a plausible pose while producing inaccurate geometry because the underlying shape model cannot faithfully represent the observed instance. We present ORMA, a training-free reconstruction framework that decouples articulation from shape, using the predicted pose as reference for optimization while leveraging generative 3D priors for accurate shape reconstruction. Given a reference image, we reconstruct the animal geometry and register it to the parametric model SMAL+, yielding an articulated shape adapted to the observed instance. We then combine per-frame articulated pose estimates with globally consistent camera poses to recover animal motion in a shared world coordinate frame, and further refine the reconstruction using self-supervised DINO correspondences and temporal consistency. To enable quantitative evaluation, we introduce PAW4D, a synthetic multi-species benchmark with ground-truth 3D geometry and camera motion. Experiments on PAW4D, PFERD, and challenging in-the-wild videos demonstrate that ORMA improves reconstruction accuracy while recovering globally consistend animal motion across diverse quadruped species.