YOCO: You Only Calibrate Once! Fast Mocap Calibration for Dexterous Teleoperation
作者: Yu Zhang, Yunqi Li, Yushi Du, Yi Ma, Yanchao Yang
分类: cs.RO
发布日期: 2026-10-08
备注: CoRL 2026
💡 一句话要点
提出YOCO以解决低成本动作捕捉手套的校准问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 动作捕捉 手部状态估计 灵巧遥操作 校准技术 深度学习 超网络 MANO模型
📋 核心要点
- 现有的低成本动作捕捉手套和无标记追踪器存在用户间偏差，影响手部状态估计的准确性。
- YOCO通过少量配对的原始和目标姿势，利用超网络进行快速校准，避免了每个用户或会话单独优化模型的复杂性。
- 实验结果表明，YOCO在校准效率、手部状态估计质量和遥操作性能上均显著优于未校准输入和标准校准基线。
📝 摘要（中文）
灵巧遥操作需要可靠的人手状态估计。然而，常见的低成本动作捕捉手套和无标记追踪器往往存在用户、手套贴合度和录制会话之间的偏差，降低了重定向和演示质量。我们提出YOCO，一个快速的少量样本、无微调的校准框架，通过一小组配对的原始和目标姿势来校正偏差的手部姿态流。YOCO将校准超网络条件化于配对示例，并为冻结的MANO手部估计模块预测LoRA风格的更新，将每个用户的校准转变为轻量级的前馈适应步骤，同时保留MANO的几何先验和紧凑估计器的效率。我们在InterHand2.6M上使用合成漂移增强训练YOCO，并在增强的InterHand序列、离线真实手套数据和灵巧遥操作任务上进行评估。YOCO在这些设置中提高了校准效率、手部状态估计质量和遥操作性能。
🔬 方法详解
问题定义：本论文旨在解决低成本动作捕捉手套和无标记追踪器在不同用户和会话中存在的偏差问题，这些偏差会降低手部状态估计的准确性和遥操作的质量。
核心思路：YOCO的核心思想是通过少量配对的原始和目标姿势进行快速校准，利用超网络对校准进行条件化，从而避免每个用户或会话都需要单独优化模型。
技术框架：YOCO的整体架构包括一个冻结的MANO手部估计模块和一个校准超网络。校准超网络根据输入的配对示例生成LoRA风格的更新，进行轻量级的前馈适应。
关键创新：YOCO的主要创新在于将每个用户的校准转变为一个轻量级的前馈步骤，同时保留了MANO的几何先验和高效的估计能力，这与现有方法的逐用户优化模型的方式有本质区别。
关键设计：YOCO在训练过程中使用合成漂移增强，确保模型在不同条件下的鲁棒性。关键参数设置和损失函数设计旨在最大化校准效果和手部状态估计的准确性。
🖼️ 关键图片
📊 实验亮点
在多个实验设置中，YOCO显著提高了校准效率和手部状态估计质量，相较于未校准输入和标准校准基线，性能提升幅度达到了XX%（具体数据未知）。这些结果表明YOCO在灵巧遥操作任务中的有效性和实用性。
🎯 应用场景
YOCO的研究成果在灵巧遥操作、虚拟现实和增强现实等领域具有广泛的应用潜力。通过提高手部状态估计的准确性和校准效率，YOCO能够改善人机交互体验，推动相关技术的发展。未来，YOCO还可能在其他需要精确手部动作捕捉的场景中发挥重要作用。
📄 摘要（原文）
Dexterous teleoperation requires reliable human-hand state estimations. However, common low-cost motion-capture gloves and markerless trackers often exhibit biases that vary across users, glove fit, and recording sessions, degrading retargeting and demonstration quality. We present YOCO, a fast few-shot, fine-tuning-free calibration framework that corrects biased hand-pose streams from a small set of paired raw and target poses. Instead of optimizing a separate model for every operator or session, YOCO conditions a calibration HyperNet on the paired examples and predicts LoRA-style updates for a frozen MANO hand-estimation module, turning per-user calibration into a lightweight feed-forward adaptation step while preserving the geometric prior of MANO and the efficiency of a compact estimator. We train YOCO with synthetic drift augmentations on InterHand2.6M and evaluate on augmented InterHand sequences, offline real glove data, and dexterous teleoperation tasks. Across these settings, YOCO improves calibration efficiency, hand-state estimation quality and teleoperation performance compared with uncalibrated input and standard calibration baselines.