Social EgoMesh Estimation

📄 arXiv: 2411.04598v1 📥 PDF

作者: Luca Scofano, Alessio Sampieri, Edoardo De Matteis, Indro Spinelli, Fabio Galasso

分类: cs.CV

发布日期: 2024-11-07

🔗 代码/项目: GITHUB

💡 一句话要点

提出SEE-ME框架，利用社交交互信息提升自中心视角下的人体网格估计精度

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 自中心视角 人体网格估计 社交交互 扩散模型 姿态估计

📋 核心要点

  1. 自中心视角人体姿态估计受限于身体可见性，现有方法忽略了社交交互信息。
  2. SEE-ME框架利用潜在概率扩散模型，首次将场景和社交交互信息融入自中心人体网格估计。
  3. 实验表明，SEE-ME显著降低了姿态估计误差（MPJPE），超越了现有最佳技术。

📝 摘要（中文）

在虚拟和增强现实应用中，准确估计自中心视频序列中相机佩戴者的3D姿态对于建模人类行为至关重要。由于佩戴者头部安装的前置摄像头对身体的可见性有限，这项任务面临着独特的挑战。最近的研究探索了场景和自我运动的利用，但忽略了人类的交互本质。我们提出了一个新颖的社交自中心人体网格估计框架（SEE-ME）。我们的方法首次仅使用潜在概率扩散模型来估计佩戴者的网格，该模型以场景为条件，并且首次以佩戴者与交互对象的社交互动为条件。我们的深入研究揭示了社交互动对于自中心人体网格估计何时最为重要；它量化了人际距离和视线方向的影响。总体而言，SEE-ME超越了当前的最佳技术，将姿态估计误差（MPJPE）降低了53%。代码可在https://github.com/L-Scofano/SEEME获取。

🔬 方法详解

问题定义：论文旨在解决自中心视角下人体网格估计精度低的问题。现有方法主要依赖于场景和自我运动信息，忽略了人与人之间的社交交互，导致在社交场景下估计精度下降。

核心思路：论文的核心思路是将社交交互信息融入到自中心人体网格估计中。通过观察佩戴者与交互对象的距离和视线方向等社交线索，可以更准确地推断佩戴者的身体姿态和动作。

技术框架：SEE-ME框架主要包含以下几个模块：1) 场景理解模块，用于提取场景的几何和语义信息；2) 社交交互模块，用于提取佩戴者与交互对象的距离和视线方向等社交线索；3) 潜在概率扩散模型，用于融合场景信息和社交线索，生成人体网格。该模型以场景和社交交互信息为条件，逐步去噪，最终得到准确的人体网格估计。

关键创新：论文最重要的创新点在于首次将社交交互信息引入到自中心人体网格估计中。通过显式地建模佩戴者与交互对象之间的关系，可以显著提高在社交场景下的估计精度。此外，使用潜在概率扩散模型可以更好地处理不确定性，生成更自然和逼真的人体网格。

关键设计：论文使用Transformer网络来提取场景和社交交互特征。潜在概率扩散模型采用U-Net结构，并使用条件归一化层将场景和社交交互信息融入到扩散过程中。损失函数包括重建损失和对抗损失，以保证生成的人体网格的准确性和真实性。具体参数设置和网络结构细节可在论文的补充材料中找到。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SEE-ME在自中心人体网格估计任务上取得了显著的性能提升。实验结果表明，SEE-ME超越了当前最佳技术，将姿态估计误差（MPJPE）降低了53%。消融实验验证了社交交互信息的重要性，表明人际距离和视线方向等因素对估计精度有显著影响。此外，可视化结果表明，SEE-ME能够生成更自然和逼真的人体网格。

🎯 应用场景

该研究成果可广泛应用于虚拟现实、增强现实、人机交互等领域。例如，在社交VR应用中，可以利用该技术准确估计用户的身体姿态，从而实现更自然的虚拟化身控制和社交互动。此外，该技术还可以用于辅助驾驶、智能监控等领域，提高对行人姿态的识别和理解能力，从而提升安全性和智能化水平。

📄 摘要（原文）

Accurately estimating the 3D pose of the camera wearer in egocentric video sequences is crucial to modeling human behavior in virtual and augmented reality applications. The task presents unique challenges due to the limited visibility of the user's body caused by the front-facing camera mounted on their head. Recent research has explored the utilization of the scene and ego-motion, but it has overlooked humans' interactive nature. We propose a novel framework for Social Egocentric Estimation of body MEshes (SEE-ME). Our approach is the first to estimate the wearer's mesh using only a latent probabilistic diffusion model, which we condition on the scene and, for the first time, on the social wearer-interactee interactions. Our in-depth study sheds light on when social interaction matters most for ego-mesh estimation; it quantifies the impact of interpersonal distance and gaze direction. Overall, SEE-ME surpasses the current best technique, reducing the pose estimation error (MPJPE) by 53%. The code is available at https://github.com/L-Scofano/SEEME.