HandFlow: Fully Generative 4D Hand Recovery with Flow Matching
作者: Mingxi Xu, Bowen Duan, Yi Gu, Zhengyang Shen, Renjing Xu, Yutao Yue
分类: cs.CV, cs.AI
发布日期: 2026-07-13
💡 一句话要点
提出HandFlow以解决单目视频中4D手部重建问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 单目重建 生成建模 手部姿态估计 时间一致性 深度学习
📋 核心要点
- 现有的单目4D手部重建方法在处理时间一致性和模糊观察时存在不足，导致预测不稳定。
- HandFlow通过生成建模和流匹配框架，利用时间窗口内的MANO参数进行去噪，提升了手部状态恢复的连贯性。
- 在DexYCB和HOT3D数据集上，HandFlow在世界空间姿态误差上减少了30%以上，并在加速度误差上表现最佳。
📝 摘要（中文）
准确的单目4D手部重建仍然面临挑战。现有的逐帧判别回归器缺乏时间上下文，常常产生抖动的预测。虽然时间模型通过跨帧信息聚合提高了一致性，但它们通常是确定性回归器，容易受到遮挡和运动模糊造成的模糊观察的影响。生成建模提供了一种自然的替代方案，通过学习合理的手部运动序列的先验知识，使得在视觉证据不完整或不可靠时能够实现连贯的手部状态恢复。为此，本文提出了HandFlow，一个完全生成的流匹配框架，用于从单目视频中进行时间一致的3D手部姿态和形状估计。实验结果表明，HandFlow在世界空间精度和时间平滑性方面取得了显著提升。
🔬 方法详解
问题定义：本文旨在解决单目视频中4D手部重建的时间一致性问题。现有方法往往依赖逐帧回归，缺乏时间上下文，导致预测结果抖动且对模糊观察敏感。
核心思路：HandFlow采用生成建模的方式，通过学习手部运动序列的先验知识，能够在视觉信息不完整时实现连贯的手部状态恢复。该方法通过流匹配框架，整合时间窗口内的观察信息，提升了重建的稳定性和准确性。
技术框架：HandFlow的整体架构包括一个Flux风格的双流变换器，能够跨整个序列捕捉长距离依赖关系，同时使用置信度感知的连续掩码机制，处理噪声或缺失的观察数据。
关键创新：HandFlow的主要创新在于其完全生成的流匹配框架，区别于传统的确定性回归方法，能够更好地应对模糊和遮挡情况，从而实现更高的时间一致性和准确性。
关键设计：在网络设计上，HandFlow使用了可学习的掩码令牌与观察特征进行融合，确保在处理噪声数据时仍能保持较高的重建质量。
🖼️ 关键图片
📊 实验亮点
实验结果显示，HandFlow在世界空间姿态误差上相较于最强基线减少了超过30%，并且在所有评估方法中实现了最低的加速度误差。同时，HandFlow在单个GPU上以47帧每秒的速度重建150帧序列，速度比之前最快的方法快约12倍。
🎯 应用场景
该研究在虚拟现实、增强现实和人机交互等领域具有广泛的应用潜力。通过实现高效且准确的手部重建，HandFlow可以提升用户体验，促进自然交互方式的发展，未来可能在游戏、医疗和教育等多个行业中发挥重要作用。
📄 摘要（原文）
Accurate monocular 4D hand reconstruction remains challenging. Per-frame discriminative regressors lack temporal context and often produce jittery predictions. Temporal models improve consistency by aggregating information across frames, but they are typically deterministic regressors, making them vulnerable to ambiguous observations caused by occlusion and motion blur. Generative modeling offers a natural alternative by learning a prior over plausible hand motion sequences, enabling coherent hand-state recovery when visual evidence is incomplete or unreliable. Motivated by this observation, we present HandFlow, a fully generative flow-matching framework for temporally coherent 3D hand pose and shape estimation from monocular video. Given visual and skeletal observations, HandFlow denoises an entire temporal window of MANO parameters through a single ODE integration. To support this, we use a Flux-style dual-stream transformer that attends across the full sequence to capture long-range dependencies without autoregressive decoding, and a confidence-aware continuous masking mechanism that blends observed features with learnable mask tokens to handle noisy or missing observations. Experiments on DexYCB and HOT3D show that HandFlow achieves state-of-the-art performance, with particularly large gains in world-space accuracy and temporal smoothness. It reduces world-space pose error by over 30% compared with the strongest baseline and achieves the lowest acceleration error among all evaluated methods, while remaining competitive in per-frame pose accuracy. Moreover, on a single GPU HandFlow reconstructs a 150-frame sequence at 47 fps, about 12x faster than the fastest prior video-based method, with reconstruction itself accounting for only a small fraction of the end-to-end latency.