EgoExplorer: A Vision-Motion-Touch Observatory for Human Loco-Manipulation In Situ
作者: Yunsong Zhou, Xuekun Jiang, Haiqi Shen, Hangxu Liu, Chaojian Shi, Yujie Liu, Jingyuan Li, Haoran Yang, Jiafei Cao, Dongzhan Zhou, Dong Wang, Yao Mu, Chunhua Shen, Weinan Zhang
分类: cs.RO, cs.CV
发布日期: 2026-10-13
备注: Project page: internrobotics.github.io/egoexplorer.github.io/
💡 一句话要点
提出EgoExplorer以解决人类运动与操控数据收集不足问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人类运动 操控行为 可穿戴系统 数据收集 运动推断 多模态融合 校准技术
📋 核心要点
- 现有的数据集无法全面捕捉人类运动与操控行为的协调性，限制了学习算法的有效性。
- 本文提出EgoExplorer，通过可穿戴系统收集100小时的运动与操控数据，结合视频、运动和触觉信息。
- 实验结果表明，该方法相较于最强基线，身体点误差降低了71.9%，并在手部稳定性和接触估计上有显著提升。
📝 摘要（中文）
学习人类的运动与操控行为需要观察运动、姿态和物体交互如何随着任务展开而演变。然而，现有数据集仅提供部分视角，无法全面捕捉这些协调性。因此，本文提出EgoExplorer，一个基于可穿戴系统的100小时人类运动与操控观测平台。该平台强调专业活动，连续记录与重建的全身运动、精细的手指动作和触觉观察，并附有逐步描述。为实现这一覆盖，本文开发了校准-完成-约束管道，显著提高了运动推断的准确性。
🔬 方法详解
问题定义：本文旨在解决现有数据集在捕捉人类运动与操控行为协调性方面的不足，现有方法往往只能提供部分视角，无法全面反映任务执行过程中的动态变化。
核心思路：EgoExplorer通过可穿戴系统实现对人类运动与操控行为的全面记录，结合视频、运动和触觉信息，提供更丰富的数据支持。该系统的设计旨在通过校准和约束技术提高数据的准确性和一致性。
技术框架：整体架构包括可穿戴传感器的校准、运动推断、以及数据的整合与分析。具体流程为：首先进行参与者几何形状和传感器附着的校准，然后通过运动推断技术完成未观测关节的运动，最后通过层次约束确保测量的一致性和时间连续性。
关键创新：最重要的技术创新在于提出了校准-完成-约束管道，能够有效分离安装偏差与关节动作，显著提高运动推断的准确性。与现有方法相比，该方法在运动的可行性和一致性方面具有本质区别。
关键设计：在参数设置上，采用了可重用的校准技术，确保传感器的几何形状固定；损失函数设计上，强调测量一致性、时间连续性和几何一致性，确保运动推断的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，EgoExplorer在身体点误差上相较于最强基线降低了71.9%，并在手部稳定性和接触估计方面也取得了显著提升。这些结果表明该方法在运动推断的准确性和可靠性上具有显著优势。
🎯 应用场景
EgoExplorer的研究成果在机器人学习、人机交互和虚拟现实等领域具有广泛的应用潜力。通过提供高质量的运动与操控数据，可以推动智能机器人在复杂环境中的自主学习与适应能力，提升人机协作的效率与安全性，未来可能在智能家居、医疗康复等场景中发挥重要作用。
📄 摘要（原文）
Learning humanoid loco-manipulation from human demonstrations rests on observing how locomotion, posture, and object interaction evolve together as tasks unfold. Scaling collection across diverse environments, in turn, favors lightweight, portable capture systems. Yet, existing datasets provide only partial views of this coordination. Thus, we introduce EgoExplorer, a 100-hour vision-motion-touch observatory of human loco-manipulation built with a wearable system. With an emphasis on professional activities, its continuous recordings align egocentric video with reconstructed whole-body motion, fine-grained finger articulation, and tactile observations, accompanied by step-level descriptions. To achieve this coverage with sparse body sensing, we develop the Calibrate-Complete-Constrain pipeline. Concretely, reusable calibration fixes participant geometry and sensor attachments before motion inference to disentangle mounting offsets from articulation. A temporal prior then completes unobserved joint motion, while layered constraints promote measurement agreement, temporal continuity, and geometric consistency, properties that motion plausibility alone does not guarantee. Against tracker-fitted references, the method reduces body-point error by 71.9% relative to the strongest baseline; matched evaluations also show gains in hand stability and contact estimation. Preliminary studies explore multimodal generation and conditioning alongside humanoid retargeting with whole-body control in simulation.