WildHSR: Metric Feed-Forward 4D People-Scene Reconstruction from a 3D Foundation Model

📄 arXiv: 2609.29106v1 📥 PDF

作者: Jerrin Bright, John Zelek

分类: cs.CV, cs.AI, cs.CG

发布日期: 2026-09-24

💡 一句话要点

提出WildHSR以解决视频中人场景重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D重建 视频分析 人物识别 实时处理 深度学习

📋 核心要点

  1. 现有的3D基础模型在处理视频中的人场景重建时，缺乏度量尺度和持久人物身份的输出，限制了其应用。
  2. 本文提出WildHSR，通过轻量级适配和伪标签生成，解决了度量尺度和人物身份的重建问题，提升了重建精度。
  3. 在EMDB-2和RICH数据集上，WildHSR在多个指标上超越了现有的优化方法，展示了其优越的性能和实时处理能力。

📝 摘要（中文）

3D基础模型能够在一次前向传播中恢复视频摄像机和几何信息，但在度量尺度和持久人物身份方面存在缺失。本文提出WildHSR，通过轻量级适配来支持这两个输出。利用网络视频中的人进行初始化，生成近似的尺度伪标签，并通过精细调优实现度量监督。在推理阶段，模型能够从基础模型的tokens中预测度量尺度，并通过中间特征实现人物对应关系的探测。WildHSR在多个基准测试中表现优异，首次在EMDB-2上超越了优化基础的WA-MPJPE和RTE，并在RICH上领先于其他前馈方法。

🔬 方法详解

问题定义：本文旨在解决在视频中进行人场景重建时缺乏度量尺度和持久人物身份的问题。现有方法通常依赖于复杂的优化过程，难以实现实时处理。

核心思路：WildHSR通过轻量级适配和伪标签生成，利用网络视频中的人进行初始化，生成近似的尺度伪标签，并通过精细调优实现度量监督，从而同时恢复度量尺度和人物身份。

技术框架：整体架构包括伪标签生成模块、尺度读取模块和人物身份探测模块。伪标签生成模块利用网络视频中的2D关键点和姿态信息初始化尺度，尺度读取模块在推理阶段从基础模型的tokens中预测度量尺度，身份探测模块则通过中间特征实现人物对应关系的探测。

关键创新：WildHSR的主要创新在于其轻量级适配和伪标签生成方法，使得在没有精确度量标签的情况下，仍能实现高精度的人场景重建。这一方法与传统的优化方法相比，显著提高了处理速度和准确性。

关键设计：在模型设计中，采用了特定的损失函数来优化尺度预测和身份探测的准确性，同时在网络结构上进行了轻量化设计，以确保在单个GPU上实现实时处理，达到10.1 fps的速度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在EMDB-2数据集上，WildHSR首次在前馈方法中超越了最佳优化基础的WA-MPJPE和RTE，且在RICH数据集上领先于所有前馈人场景方法，展现出在WA-MPJPE和W-MPJPE指标上的显著提升，验证了其优越的性能。

🎯 应用场景

WildHSR的研究成果在多个领域具有广泛的应用潜力，包括智能监控、增强现实和虚拟现实等场景。通过实时重建视频中的人和场景信息，该技术可以为人机交互、行为分析和环境理解提供重要支持，推动相关领域的发展。

📄 摘要（原文）

3D foundation models recover video cameras and geometry in one forward pass, but some of the strongest are up to scale. Joint people-scene reconstruction then requires two missing outputs: metric scale and persistent person identity. We ask whether one up-to-scale foundation representation can support both through lightweight adaptation. Exact metric labels are scarce, but unlabeled in-the-wild video is abundant. We use people in curated web video to initialise the solution: a posed metric body and 2D keypoints give an approximate, closed-form scale pseudo-label. These pseudo-labels pretrain a Scale Readout, which is then fine-tuned together with a lightweight adapter using exact metric supervision from standard real-video training splits. At inference the head predicts metric scale from foundation-model tokens, without the ruler or its teachers. For person identity, we probe the pretrained foundation model alone and find evidence that its intermediate query-key features encode person correspondence across frames. In most evaluated moving-person clips, a mid-layer token prefers that person over the vacated location and other people. A tiny projection reads this correspondence; together with metric pelvis motion and proposal confidence, it drives dustbin-aware Sinkhorn association of per-frame bodies. WildHSR combines both readouts to reconstruct metric cameras, scene and people from monocular video. Each window is predicted feed-forward; analytic association and Sim(3) composition connect windows. On EMDB-2, WildHSR is the first feed-forward method in the published comparison to beat the best optimization-based WA-MPJPE and RTE while leading feed-forward methods on all three world-frame metrics. On RICH, it leads feed-forward people-and-scene methods on WA-MPJPE and W-MPJPE. The complete pipeline runs at 10.1 fps on one GPU.