FingerCap: Fine-grained Finger-level Hand Motion Captioning

📄 arXiv: 2511.16951v1 📥 PDF

作者: Xin Shen, Rui Zhu, Lei Shen, Xinyu Wang, Kaihao Zhang, Tianqing Zhu, Shuchen Wu, Chenxi Miao, Weikang Li, Yang Li, Deguo Xia, Jizhou Huang, Xin Yu

分类: cs.CV

发布日期: 2025-11-21

💡 一句话要点

提出FingerCap，用于生成精细的手指级别动作描述，并构建了大规模数据集。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 手部动作描述 手指级别动作 视频理解 多模态学习 时序建模

📋 核心要点

  1. 现有视频-MLLM难以捕捉精细的手指动作，因为RGB采样过于稀疏，无法捕捉高频动态。
  2. 提出FiGOP，将RGB关键帧与后续手部关键点配对，利用轻量级时间编码器提取运动嵌入。
  3. 在FingerCap-40K数据集上，FiGOP增强模型在手指级别动作描述任务中取得了显著提升。

📝 摘要（中文）

本文提出了精细手指级别的手部动作描述（FingerCap）任务，旨在生成捕捉手部动作细粒度手指级别语义的文本描述。为了支持这项任务，作者构建了一个大规模语料库FingerCap-40K，其中包含4万个配对手部动作视频和描述，涵盖两种互补的来源：简洁的指令式手指动作和多样化的自然手部-物体交互。为了实现有效的评估，作者采用HandJudge，这是一个基于LLM的评估标准，用于衡量手指级别的正确性和动作完整性。针对当前视频-MLLM在时序稀疏性上的瓶颈，作者提出了FiGOP（Finger Group-of-Pictures），它将每个RGB关键帧与后续的手部关键点配对，直到下一个关键帧。一个轻量级的时间编码器将关键点转换为运动嵌入，并将其与RGB特征集成。在FingerCap-40K上的实验表明，强大的开源和闭源视频-MLLM仍然难以进行手指级别的推理，而作者的FiGOP增强模型在HandJudge和人工研究下产生了持续的收益。

🔬 方法详解

问题定义：论文旨在解决现有视频-MLLM在理解和描述精细手指级别手部动作方面的不足。现有方法由于RGB采样的稀疏性，难以捕捉手指动作中的高频时序动态，导致无法准确生成细粒度的动作描述。

核心思路：论文的核心思路是通过引入FiGOP（Finger Group-of-Pictures）来增强模型对时序信息的感知能力。FiGOP将每个RGB关键帧与后续的手部关键点序列进行配对，从而在不增加RGB采样密度的前提下，补充了手指动作的时序信息。

技术框架：整体框架包括以下几个主要步骤：1) 输入视频被采样为RGB关键帧；2) 每个RGB关键帧与其后续的手部关键点序列组成一个FiGOP；3) 一个轻量级的时间编码器处理手部关键点序列，生成运动嵌入；4) 运动嵌入与RGB特征进行融合；5) 融合后的特征被输入到视频-MLLM中，生成动作描述。

关键创新：论文的关键创新在于FiGOP的设计，它巧妙地将RGB信息与手部关键点信息结合，弥补了RGB采样在时序上的不足。与直接增加RGB采样密度相比，FiGOP在计算成本上更具优势。

关键设计：时间编码器采用轻量级网络结构，例如Transformer或RNN，以降低计算复杂度。损失函数包括描述生成的交叉熵损失和可选的手指级别动作分类损失。手部关键点可以采用现成的姿态估计模型提取，例如OpenPose或MediaPipe。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FiGOP增强模型在FingerCap-40K数据集上显著优于现有的视频-MLLM。在HandJudge评估指标和人工评估中，FiGOP模型均取得了持续的收益，证明了其在捕捉精细手指级别动作方面的有效性。具体性能数据未知，但论文强调了FiGOP带来的“consistent gains”。

🎯 应用场景

该研究成果可应用于人机交互、虚拟现实、手语识别与翻译、康复医疗等领域。例如，可以帮助机器人理解人类的手势指令，提升VR/AR环境中的交互体验，辅助手语学习者，以及为手部功能障碍患者提供康复训练。

📄 摘要（原文）

Understanding fine-grained human hand motion is fundamental to visual perception, embodied intelligence, and multimodal communication. In this work, we propose Fine-grained Finger-level Hand Motion Captioning (FingerCap), which aims to generate textual descriptions that capture detailed finger-level semantics of hand actions. To support this task, we curate FingerCap-40K, a large-scale corpus of 40K paired hand-motion videos and captions spanning two complementary sources: concise instruction-style finger motions and diverse, naturalistic hand-object interactions. To enable effective evaluation, we employ HandJudge, a LLM-based rubric that measures finger-level correctness and motion completeness. Temporal sparsity remains a fundamental bottleneck for current Video-MLLMs, since sparse RGB sampling is insufficient to capture the subtle, high-frequency dynamics underlying fine finger motions. As a simple and compute-friendly remedy, we introduce FiGOP (Finger Group-of-Pictures), which pairs each RGB keyframe with subsequent hand keypoints until the next keyframe. A lightweight temporal encoder converts the keypoints into motion embeddings and integrates them with RGB features. FiGOP adapts the classic GOP concept to finger motion, recovering fine temporal cues without increasing RGB density. Experiments on FingerCap-40K show that strong open- and closed-source Video-MLLMs still struggle with finger-level reasoning, while our FiGOP-augmented model yield consistent gains under HandJudge and human studies.