One Sensor, Whole Body - 3D Body Pose from a Single Consumer Earbud IMU
作者: Zhilin Guo, Boqiao Zhang, Oszkár Urbán, Josef Bengtson, Hakan Aktas, Wenzhao Li, Siyu Hong, Kyle Fogarty, Chenliang Zhou, Ali Senguel, Cengiz Oztireli
分类: cs.CV, cs.HC
发布日期: 2026-09-28
备注: 5 pages, 2 figures, 2 tables. Accepted at the 6th International Workshop on Human-centric Multimedia Analysis (HUMA '26), ACM Multimedia 2026, Rio de Janeiro, Brazil. Code: https://github.com/ZhilinGuo/one-sensor-whole-body
🔗 代码/项目: GITHUB
💡 一句话要点
利用单个耳塞IMU实现3D全身姿态估计
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 3D姿态估计 耳塞IMU 多模态数据 深度学习 运动监测 健康管理 虚拟现实
📋 核心要点
- 现有方法在使用多个传感器时，增加传感器数量并未必能提升姿态估计的准确性，且可能导致性能下降。
- 论文提出了一种基于单个耳塞IMU的3D身体姿态恢复方法，利用多模态数据捕获和深度学习模型进行姿态估计。
- 实验结果显示，单个耳塞IMU在下肢姿态恢复上达到了79.0mm的准确度，且在流式延迟下保持了良好的性能。
📝 摘要（中文）
消费者耳塞已能够从头部传输惯性运动数据，这是身体上最常见的传感器位置之一。本文探讨了单个头部IMU能恢复多少3D身体姿态，以及增加更多消费者传感器是否真的有帮助。通过构建多模态捕获管道，记录四视角RGB-D视频和耳塞IMU数据，生成伪地面真值，建立了一个包含多种动作的基准数据集。研究表明，单个头部IMU在下肢姿态恢复上表现良好，且在流式延迟下保持大部分准确性。实验结果显示，增加脚部IMU并未显著提升姿态恢复效果，反而在某些情况下导致性能下降。
🔬 方法详解
问题定义：本文旨在解决如何利用单个耳塞IMU恢复3D身体姿态的问题。现有方法在增加传感器数量时，未能有效提升姿态估计的准确性，反而可能导致性能下降。
核心思路：论文的核心思路是通过单个头部IMU结合多模态数据捕获，探索其在全身姿态恢复中的有效性。设计上强调了传感器的可靠性，而非数量。
技术框架：整体架构包括数据捕获、数据同步、伪地面真值生成和姿态估计模型训练。主要模块包括RGB-D视频捕获、IMU数据记录和深度学习模型（IMUPoser和MobilePoser）。
关键创新：最重要的技术创新在于提出了一种仅依赖单个耳塞IMU的姿态恢复方法，挑战了传统依赖多个传感器的思路，强调了传感器的可靠性。
关键设计：在模型设计中，采用了两种递归模型结构，并进行了针对性的损失函数设计，以优化下肢姿态的恢复效果。同时，进行了脚部IMU的消融实验，以验证传感器的方向质量对姿态估计的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，单个耳塞IMU在下肢姿态恢复上达到了79.0mm的刚性MPJPE和0.809的宏观F1分数。与传统方法相比，增加脚部IMU并未显著提升姿态恢复效果，反而在某些情况下导致性能下降，验证了该方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括运动监测、健康管理和虚拟现实等。通过利用消费者耳塞的IMU数据，可以实现更便捷的身体姿态监测，降低成本并提高用户体验。未来，这一技术有望在智能穿戴设备中得到广泛应用，推动个性化健康管理的发展。
📄 摘要（原文）
Consumer earbuds already stream inertial motion data from the head, one of the most widely worn sensor locations on the body. We ask how much of the 3D body pose a single such head IMU can recover, and whether adding more consumer sensors actually helps. We build a multimodal capture pipeline that records four-view RGB-D video together with an AirPods head IMU and two Striv insole IMUs, synchronize the streams post-hoc, and generate pseudo-ground-truth with SAM 3D Body, yielding a 35-take single-subject benchmark spanning gait, turning, vertical, everyday, and clinically inspired motions. Adapting two recurrent model families (IMUPoser and MobilePoser), we show that one head IMU recovers lower-body pose at 79.0 mm rigid-MPJPE and per-foot ground contact at 0.809 macro-F1, and that a causal variant retains most of this accuracy at streaming latency. In paired per-take significance tests across both families, adding the consumer foot IMUs never significantly improves pose and significantly degrades it in two of four model-split combinations; a mounting-bias probe and feet-only ablation identify insole orientation quality, not foot placement, as the mechanism. Extending the output to a 20-joint full-body skeleton maps the boundary: gross distal-arm motion is partially recoverable from the head alone, proximal upper-body pose is not, and staged fine-tuning recovers the leg accuracy that naive joint training sacrifices to multi-task dilution. For learned pose from consumer wearables, sensor reliability, not sensor count, is the binding constraint here. For the devices tested, the earbud is its sweet spot. Code is available at https://github.com/ZhilinGuo/one-sensor-whole-body.