OmniPoser: Flexible Human Motion Recovery in the Wild with Masked Flow Matching

📄 arXiv: 2610.19857v1 📥 PDF

作者: Minghao Liu, Tutian Tang

分类: cs.CV

发布日期: 2026-10-14

备注: Accepted as a poster at the European Conference on Computer Vision (ECCV) 2026

期刊: Computer Vision - ECCV 2026. Lecture Notes in Computer Science, vol. 17075, pp. 1-19. Springer, 2026

DOI: 10.1007/978-3-032-37032-7_1

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出OmniPoser以解决稀疏传感器下的人体运动恢复问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 3D人体运动恢复 稀疏传感器 跨模态掩蔽 条件流匹配 实时计算 虚拟现实 增强现实

📋 核心要点

  1. 现有方法在稀疏传感器下恢复3D人体运动时面临噪声、遮挡和不稳定性等挑战，且通常限制于固定传感器配置。
  2. OmniPoser通过引入跨模态掩蔽机制和掩蔽条件编码器，能够灵活整合多种传感器输入，恢复完整的SMPL运动。
  3. 在七个基准测试中，OmniPoser的性能与最先进的方法相当，且运行速度超过700 FPS，显示出其优越的实时性。

📝 摘要（中文）

从稀疏可穿戴传感器中恢复3D人体运动是一个具有挑战性的任务，主要由于现实世界跟踪信号的噪声、遮挡和不稳定性。现有方法通常限制于固定的传感器配置，并且基于扩散模型的实现计算开销较大，难以满足实时部署的需求。为此，本文提出了OmniPoser，一个通用框架，能够从多种异构输入（如3D关键点、稀疏IMU旋转、头戴式6自由度姿态等）中恢复完整的SMPL运动。OmniPoser引入了一种跨模态掩蔽机制，并配备了掩蔽条件编码器，使得单一模型能够通过掩蔽设计整合多样的传感器配置。通过条件流匹配的解耦双流生成骨干网络，OmniPoser在推理时仅需一步ODE积分。实验结果表明，在包括Nymeria和Ego-Exo4D数据集在内的七个基准测试中，OmniPoser的性能与最先进的方法相当，同时运行速度超过700 FPS。

🔬 方法详解

问题定义：本文旨在解决从稀疏可穿戴传感器中恢复3D人体运动的难题。现有方法受限于固定的传感器配置，且在处理现实世界的噪声和遮挡时表现不佳，导致运动恢复的准确性和实时性不足。

核心思路：OmniPoser的核心思想是通过跨模态掩蔽机制，允许模型灵活处理不同类型的传感器输入，从而提高运动恢复的准确性和适应性。该设计使得单一模型能够适应多种传感器配置，简化了系统的复杂性。

技术框架：OmniPoser的整体架构包括掩蔽条件编码器和解耦双流生成骨干网络。掩蔽条件编码器负责处理不同传感器输入的特征，而双流生成网络则通过条件流匹配生成完整的运动数据。推理时仅需一步ODE积分，显著提高了效率。

关键创新：OmniPoser的主要创新在于其跨模态掩蔽机制和掩蔽条件编码器的结合，使得模型能够灵活应对多样的传感器输入。这一设计与现有方法的固定配置形成鲜明对比，极大地提升了系统的灵活性和适用范围。

关键设计：在模型设计中，OmniPoser采用了特定的损失函数来优化运动恢复的准确性，并通过解耦的双流结构来提高生成效率。网络结构经过精心设计，以确保在处理不同输入时的稳定性和准确性。具体的参数设置和网络层次结构在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在七个基准测试中，OmniPoser的性能与最先进的方法相当，且在运行速度上超过700 FPS，显示出其在实时应用中的巨大潜力。这一结果表明，OmniPoser不仅在准确性上达到了行业标准，同时在效率上也具备了显著优势。

🎯 应用场景

OmniPoser的研究成果在多个领域具有广泛的应用潜力，包括虚拟现实、增强现实、运动分析和人机交互等。通过提高3D人体运动恢复的准确性和实时性，该技术能够为运动捕捉、游戏开发和医疗康复等行业提供更为高效的解决方案，推动相关技术的发展与应用。

📄 摘要（原文）

Recovering 3D human motion from sparse wearable sensors is challenging due to the inherent noise, occlusion, and instability of real-world tracking signals. Existing approaches are restricted to fixed sensor configurations and, when built on diffusion models, are computationally prohibitive for real-time deployment. We propose OmniPoser, a universal framework that recovers full-body SMPL motion from a flexible combination of heterogeneous inputs, such as 3D keypoints, sparse IMU rotations, head-mounted 6-DoF poses, or any subset thereof, within a single model. OmniPoser introduces a cross-modal masking mechanism paired with a Masked Conditioning Encoder, enabling one architecture to incorporate diverse sensor configurations through a masked design. A decoupled dual-stream generative backbone generates complete motion via Conditional Flow Matching, requiring only a single ODE integration step at inference. Across three settings and seven benchmarks, including in-the-wild Nymeria and Ego-Exo4D datasets, OmniPoser performs on par with state-of-the-art methods while running at over 700 FPS. The project page is available at https://jamesbridgewater51.github.io/omniposer-eccv/.