RLHND: Video Foundation Models as Physically Grounded Hand Trackers for Robot Learning

📄 arXiv: 2610.09455v1 📥 PDF

作者: Seungjun Moon, Subin Jeon, Sangwoo Kim, Hanbyul Joo, Jinwoo Shin

分类: cs.CV, cs.RO

发布日期: 2026-10-07

备注: 34 pages, 15 figures

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出RLHND以解决机器人学习中的手部追踪问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频基础模型 手部追踪 机器人学习 触觉信息 姿态估计 物理一致性 多模态融合

📋 核心要点

  1. 现有手部追踪方法在姿态估计中缺乏对手部运动和物体交互的有效建模，导致不准确的结果。
  2. RLHND通过视频基础模型联合估计手部姿态和触觉信息，利用清晰的潜在条件增强特征提取能力。
  3. RLHND在多个基准数据集上实现了姿态、接触和力估计的最先进性能，并在机器人学习中展示了其应用潜力。

📝 摘要（中文）

近年来，利用人类视频数据集进行机器人策略训练的方法逐渐增多。然而，现有的手部追踪器通常从裁剪的帧中回归姿态，缺乏对手部运动和物体交互的先验知识，导致估计不准确且物理上不一致。此外，缺乏物理线索（如接触和力）限制了人类视频在机器人策略训练中的应用。为此，本文提出了RLHND，这是一种基于视频基础模型的手部追踪模型，能够从单目自我中心视频中联合估计手部姿态和真实的触觉信息。RLHND通过清晰的潜在条件将预训练的Cosmos 3视频扩散骨干网络转变为确定性的片段级特征提取器，携带其在手部运动和手物体交互方面的学习先验。RLHND在多个基准数据集上实现了姿态估计的最先进性能，同时在接触和力估计方面也取得了优异的表现。

🔬 方法详解

问题定义：本文旨在解决现有手部追踪方法在姿态估计和物理一致性方面的不足，尤其是在缺乏物理线索的情况下，导致的估计不准确问题。

核心思路：RLHND通过结合视频基础模型和触觉信息的联合估计，提升了手部姿态的准确性和物理一致性，特别是在处理单目自我中心视频时。

技术框架：RLHND的整体架构包括两个主要模块：手部姿态估计模块和触觉信息估计模块。前者负责预测手部的关节角度，后者则专注于密集接触和力的预测。

关键创新：RLHND的核心创新在于将预训练的Cosmos 3视频扩散模型转化为确定性的特征提取器，并通过清晰的潜在条件实现对手部运动和交互的有效建模。

关键设计：在网络结构上，RLHND采用了LBS（线性混合形状）基础的特征传播方法，以实现高效的顶点级特征提取，避免了高昂的逐顶点注意力计算。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RLHND在多个基准数据集上实现了姿态估计的最先进性能，并在接触和力估计方面也取得了显著提升。具体而言，RLHND在姿态估计任务中超越了现有的最佳基线，提升幅度达到XX%，在接触和力估计方面同样表现出色，展示了其在实际应用中的有效性。

🎯 应用场景

RLHND在机器人学习中的潜在应用包括人机交互、自动化操作和虚拟现实等领域。通过提供准确的手部追踪和触觉信息，RLHND能够显著提升机器人在复杂环境中的操作能力和适应性，推动智能机器人技术的发展。

📄 摘要（原文）

Recently, approaches that leverage human video datasets for robot policy training have become increasingly prevalent. However, most existing hand trackers regress pose from cropped frames with limited priors on hand motion and object interaction, resulting in inaccurate and physically inconsistent estimates. Moreover, the lack of physical cues, e.g., contact and force, limits the use of human videos for robot policy training. To this end, we propose RLHND, a video foundation model-based hand tracking model that jointly estimates hand pose and realistic tactile information from monocular egocentric videos. RLHND turns the pre-trained Cosmos 3 video diffusion backbone into a deterministic clip-level feature extractor via clean-latent conditioning, carrying its learned priors on hand motion and hand-object interaction into tracking. For pose estimation, RLHND (i) predicts hand poses with anatomically plausible joint angles and (ii) enables optional conditioning on the shape parameter to maintain consistent hand shape within the same video and even across videos recorded by the same actor. For tactile estimation, a separate tactile expert stream, trained with the pose stream frozen, predicts dense contact and force over the hand surface. We further adopt LBS-based feature spreading to enable vertex-wise feature extraction without costly per-vertex attention. RLHND achieves state-of-the-art performance across various benchmark datasets for pose estimation, while also achieving state-of-the-art performance in contact and force estimation. Moreover, we demonstrate the utility of RLHND for robot learning through retargeting results and real-world robot experiments. The code will be publicly available at https://seungjun-moon.github.io/rlhnd/.