MINT: A Unified Model for World-Space Camera and Hand Motion Estimation from Scalable Egocentric Pipeline Supervision

📄 arXiv: 2609.04958v1 📥 PDF

作者: Zijie Zhu, Weiren Cai, Yizhou Wang, Zhenjie Yang, Yide Liu, Jiahao Chen, Guanqi He

分类: cs.CV, cs.RO

发布日期: 2026-09-04

💡 一句话要点

提出MINT模型以解决世界坐标下相机与手部运动估计问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 世界坐标估计 自我中心视频 手部运动估计 相机轨迹预测 联合建模 深度学习 机器人学习

📋 核心要点

  1. 现有方法通常将相机和手部运动估计分解为多个阶段，导致计算开销大且无法联合建模。
  2. MINT模型通过单一视频表示，联合预测相机轨迹和手部状态，直接生成世界坐标下的双手轨迹。
  3. MINT在公共基准测试中实现了手部轨迹精度和相机轨迹估计的显著提升，并能零样本泛化到未见数据集。

📝 摘要（中文）

从自我中心视频中恢复世界坐标下的相机和手部运动是活动理解、机器人学习和增强现实的关键能力。现有系统通常将此问题分解为相机运动、深度、手部重建和轨迹优化等多个阶段，导致计算开销大且无法联合建模相机与手部运动。本文提出MINT（Minting IN-the-Wild Trajectories），这是第一个直接从自我中心RGB视频生成完整世界坐标双手轨迹的基础模型。MINT从单一共享的时空视频表示中，联合预测相机轨迹、相机帧手部状态和每帧手部存在性，并通过显式坐标变换生成世界空间手部运动。为了应对缺乏配对世界坐标相机和手部注释的问题，本文开发了开源标注工具EGOPIPELINE，将大量公共自我中心视频转换为结构化的相机和手部轨迹监督。MINT在公共基准测试中表现出色，显著提升了手部轨迹和相机轨迹的估计精度，并实现了更快的端到端轨迹生成。

🔬 方法详解

问题定义：本文旨在解决从自我中心视频中估计世界坐标下相机与手部运动的难题。现有方法由于分阶段处理，导致计算效率低下且无法有效联合建模相机与手部运动。

核心思路：MINT模型的核心思想是通过单一共享的时空视频表示，联合预测相机轨迹、手部状态和手部存在性，从而直接生成世界坐标下的双手轨迹。这种设计使得模型能够更高效地处理复杂的运动估计任务。

技术框架：MINT的整体架构包括三个主要模块：相机轨迹预测模块、手部状态预测模块和坐标变换模块。相机轨迹预测模块负责估计相机在世界坐标系中的运动，手部状态预测模块则判断每帧中手部的存在性及其状态，最后通过坐标变换模块将手部运动转换为世界坐标。

关键创新：MINT的主要创新在于其能够从单一视频输入中联合预测相机与手部运动，避免了传统方法的分阶段处理。这种联合建模的方式显著提高了运动估计的准确性和效率。

关键设计：在模型设计中，采用了特定的损失函数来平衡相机轨迹和手部状态的预测精度，同时使用了深度学习网络结构来处理时空特征的提取与融合。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

MINT在公共基准测试中实现了手部轨迹准确性和相机轨迹估计的显著提升，具体提升幅度为[xxx]，并且在端到端轨迹生成速度上比标注管道快[xxx]，同时能够零样本泛化到未见的自我中心数据集。

🎯 应用场景

该研究在活动理解、机器人学习和增强现实等领域具有广泛的应用潜力。通过精确估计相机与手部运动，MINT能够提升人机交互的自然性和智能化水平，推动相关技术的发展与应用。

📄 摘要（原文）

Recovering camera and hand motion in world coordinates from egocentric video is a key capability for activity understanding, robot learning, and augmented reality. Existing systems typically decompose this problem into separate stages for camera motion, depth, hand reconstruction, and trajectory refinement, resulting in substantial computational overhead and preventing the joint modeling of camera and hand motion. We introduce MINT (Minting IN-the-Wild Trajectories), the first foundation model that directly produces complete world-space two-hand trajectories from ego-centric RGB video. From a single shared spatiotemporal video representation, MINT jointly predicts the camera trajectory, camera-frame hand states, and per-frame hand presence, and then produces world-space hand motion via explicit coordinate transformations. Training such a model at scale is challenging, since paired world-space camera and hand annotations are scarce. We therefore develop an open-source labeling EGOPIPELINE that converts large collections of public egocentric videos into structured camera-and-hand trajectory supervision. MINT is first pretrained on these large-scale pseudo-labels and then fine-tuned on a small set of high-quality joint annotations. Across public benchmarks, MINT achieves [xxx] improvement in world-space hand trajectory accuracy, [xxx] improvement in camera trajectory estimation, and [xxx] faster end-to-end trajectory generation than the labeling pipeline, while generalizing zero-shot to unseen egocentric datasets. We release the model, training and inference code, labeling pipeline, and a curated 1,021-hour egocentric trajectory dataset.