Reconstruction-Augmented Visuomotor Pre-Training of 3D-Grounded Bimanual Dexterity from RGB-Only Human Videos

📄 arXiv: 2610.29716v1 📥 PDF

作者: Xingyi He, Zhiwen Qiu, Adhitya Polavaram, Yunhao Cao, Cory Fan, Julius Samwer, Saleh Kalantari, Kuan Fang

分类: cs.RO

发布日期: 2026-10-21

备注: Project page: https://spatial-dex.github.io/

💡 一句话要点

提出SpatialDex以解决RGB视频中三维双手灵巧性学习问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 三维重建 双手灵巧性 视觉运动学习 人类行为理解 机器人操作 多模态学习 深度学习

📋 核心要点

  1. 现有方法在仅依赖RGB视频进行三维双手灵巧性学习时，缺乏空间上下文的理解，导致性能不足。
  2. 论文提出的SpatialDex框架通过重建场景几何与手部运动，结合视觉和运动信息进行预训练，提升了学习效果。
  3. 实验结果表明，SpatialDex在多个模拟和真实任务中显著超越现有方法，展示了其在双手灵巧性学习中的有效性。

📝 摘要（中文）

我们提出了SpatialDex框架，通过重建增强的视觉运动预训练，从仅包含RGB的人类视频中学习三维基础的双手灵巧性。核心思想是将人类行为与其空间上下文结合起来。从每个视频中重建场景几何并估计手部运动，利用3D手部估计的手大小先验在共享视频级别上对齐。重建的几何体作为策略输入和预测目标，策略通过门控残差融合将预训练的视觉-语言模型的标记网格与几何体结合，训练以预测未来场景几何及手腕和手指动作，并生成基于预测轨迹的手指运动。经过对100万段人类视频的预训练，并通过少量机器人演示进行微调，SpatialDex在九个模拟灵巧任务上比最先进的方法提高了16.5分，在六个真实世界的双手灵巧任务上提高了38.3分。与匹配比较下，使用重建几何进行预训练比仅在手部运动上预训练提高了14.2分。

🔬 方法详解

问题定义：本论文旨在解决从仅包含RGB视频中学习三维双手灵巧性的问题。现有方法往往忽视了空间上下文，导致学习效果不佳。

核心思路：论文的核心思路是通过重建场景几何和手部运动，将人类行为与其空间上下文结合，从而增强视觉运动预训练的效果。

技术框架：SpatialDex框架包括几个主要模块：视频输入处理、场景几何重建、手部运动估计、策略网络训练和未来动作预测。重建的几何体作为策略输入，帮助模型理解空间关系。

关键创新：最重要的技术创新在于将重建的几何体与预训练的视觉-语言模型结合，通过门控残差融合实现信息的有效整合。这一设计使得模型能够更好地理解和预测复杂的手部动作。

关键设计：在模型设计中，采用了手大小先验进行视频级别的对齐，损失函数结合了几何重建和动作预测的目标，网络结构则通过多层卷积和门控机制实现了高效的信息处理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SpatialDex在九个模拟灵巧任务上比最先进的方法提高了16.5分，在六个真实世界的双手灵巧任务上提高了38.3分。与仅在手部运动上预训练的模型相比，使用重建几何进行预训练的成功率提高了14.2分，展示了其显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括人机交互、机器人操作和虚拟现实等。SpatialDex能够提升机器人在复杂环境中的操作能力，促进智能助手和自动化系统的发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

We present SpatialDex, a framework that learns 3D-grounded bimanual dexterity from RGB-only human videos through reconstruction-augmented visuomotor pre-training. The central idea is to learn human behavior together with its spatial context. From each video, we reconstruct the scene geometry and estimate the hand motion, align them at a shared video-level scale using the hand-size prior of 3D hand estimates. We retain the reconstructed geometry as both a policy input and a prediction target. The policy grounds the token grid of a pre-trained vision-language model in this geometry through gated residual fusion, is trained to predict future scene geometry alongside wrist and finger actions, and generates finger motion conditioned on the predicted trajectories of both wrists. Pre-trained on 1M human-video clips and fine-tuned with a small number of robot demonstrations, SpatialDex outperforms the state-of-the-art methods by 16.5 points on nine simulated dexterous tasks across two embodiments and by 38.3 points on six real-world bimanual dexterous tasks. Under a matched comparison, pre-training with reconstructed geometry improves success by 14.2 points over pre-training on hand motion alone.