VERA-Hand: A Verified Multidimensional Benchmark for 2D Hand Pose Estimation in Third-Person Dynamic Gesture Videos
作者: Gibran Benitez-Garcia, Hiroki Takahashi
分类: cs.CV
发布日期: 2026-10-23
备注: Accepted to WACV 2027
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出VERA-Hand以解决手势视频中手部姿态估计评估不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 手势识别 手部姿态估计 多维度评估 无接触交互 数据注释
📋 核心要点
- 现有手部姿态估计方法通常依赖逐帧定位指标，忽略了漏检、虚假检测及时间稳定性等问题。
- 本文提出VERA-Hand基准，通过手动验证的逐帧2D注释，从检测、定位、识别和时间稳定性四个维度进行评估。
- 评估结果显示，六种估计器在不同维度的排名差异显著，且VERA-Hand揭示了许多传统评估方法无法发现的失败案例。
📝 摘要（中文）
手部关键点是手势识别、手语理解和无接触人机交互的重要输入。然而，现有的手部姿态估计评估通常依赖于逐帧定位指标，如PCK或MPJPE，这些指标在匹配预测时忽略了漏检或虚假检测、手部方向错误和时间稳定性问题。为了解决这些局限性，本文提出了VERA-Hand，一个基准评估工具，使用手动验证的逐帧2D注释，涵盖检测、定位、识别和时间稳定性四个维度，并引入了需要正确检测和准确定位的联合Pose-F1指标。通过评估六种不同的估计器，发现没有一种估计器在所有维度上都占据主导地位，排名在不同维度间显著变化。VERA-Hand还揭示了仅依赖定位和下游评估可能无法发现的失败情况。
🔬 方法详解
问题定义：本文旨在解决现有手部姿态估计评估方法的不足，尤其是逐帧定位指标无法全面反映估计器性能的问题。这些方法常常忽略漏检、虚假检测、手部方向错误和时间稳定性等重要因素。
核心思路：VERA-Hand基准通过手动验证的逐帧2D注释，提供了一个多维度的评估框架，涵盖检测、定位、识别和时间稳定性四个方面，并引入联合Pose-F1指标，以确保检测和定位的准确性。
技术框架：VERA-Hand的评估流程包括数据收集、手动注释、性能评估和结果分析。首先，收集包含手势的视频数据，然后进行逐帧的手部关键点注释，最后使用不同的评估指标对多种手部姿态估计器进行性能评估。
关键创新：VERA-Hand的主要创新在于其多维度评估框架和联合Pose-F1指标，这与传统的逐帧定位评估方法有本质区别，能够更全面地反映估计器的性能。
关键设计：在设计上，VERA-Hand采用了手动验证的注释方式，确保数据的准确性。同时，评估中考虑了不同的运动模糊类别和手部区域的鲁棒性，提供了更细致的分析。通过这些设计，VERA-Hand能够有效地揭示手部姿态估计中的潜在问题。
📊 实验亮点
在对六种手部姿态估计器的评估中，发现没有一种估计器在所有维度上都表现优异，排名在不同维度之间变化显著。特别是，VERA-Hand揭示了超过85%的帧中存在交叉手重叠的问题，这在传统评估中未被发现。该基准的设计有效地验证了纠正干预措施的有效性，显示出其在实际应用中的重要性。
🎯 应用场景
VERA-Hand的研究成果在手势识别、手语理解和无接触人机交互等领域具有广泛的应用潜力。通过提供更准确的手部姿态估计评估，能够提升相关技术的可靠性和用户体验。此外，该基准的发布也为后续研究提供了重要的参考和数据支持，推动了手部姿态估计技术的发展。未来，随着技术的进步，VERA-Hand可能会被应用于更多实时交互场景中。
📄 摘要（原文）
Hand landmarks serve as input for gesture recognition, sign language understanding, and touchless human-computer interaction. Yet hand pose estimators are typically evaluated with frame-wise localization metrics such as PCK or MPJPE, which are computed over matched predictions and overlook missed or spurious hands, handedness errors, and temporal instability. To address these limitations, we present VERA-Hand, a benchmark that evaluates estimators using manually verified, frame-level 2D annotations for 10,690 hands across four complementary dimensions (detection, localization, identification, and temporal stability), as well as a joint Pose-F1 metric that requires both correct detection and accurate localization. Evaluating six estimators spanning hand-specific, whole-body, reconstruction-based, and foundation-model paradigms, we find that no estimator dominates: rankings reorder sharply across dimensions. VERA-Hand also exposes failures that localization-only and downstream evaluations may not reveal, including cross-hand overlap in over 85% of frames for a recent foundation model. A post-hoc cleanup case study demonstrates how the benchmark can validate corrective interventions, while stratified analyses show that robustness varies across motion-blur classes and hand regions. We release the verified annotations, protocol, and code at https://gibranbenitez.github.io/VERA_Hand/