GestureGPT: Toward Zero-Shot Free-Form Hand Gesture Understanding with Large Language Model Agents

📄 arXiv: 2310.12821v5 📥 PDF

作者: Xin Zeng, Xiaoyu Wang, Tengxiang Zhang, Chun Yu, Shengdong Zhao, Yiqiang Chen

分类: cs.CL, cs.HC

发布日期: 2023-10-19 (更新: 2024-11-04)

备注: This paper has been accepted to the ISS 2024 track of the Proceedings of the ACM on Human-Computer Interaction

期刊: Proc. ACM Hum.-Comput. Interact., Vol. 8, No. ISS, Article 545, 2024, 38 pages

DOI: 10.1145/3698145

💡 一句话要点

提出GestureGPT以实现零-shot自由形式手势理解

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自由形式手势理解 大型语言模型 人机交互 智能家居 上下文管理 手势推理 自然语言处理

📋 核心要点

  1. 现有手势接口依赖固定手势集，导致用户需要学习或演示手势，降低了交互的自然性。
  2. GestureGPT框架通过多个大型语言模型代理，模拟人类理解手势的过程，实现自由形式手势的自然交互。
  3. 在智能家居和在线视频流场景下，框架的零-shot Top-1/Top-5准确率分别达到44.79%/83.59%和37.50%/73.44%。

📝 摘要（中文）

现有的手势接口通常仅支持固定的手势集，这限制了用户的自然交互体验。为了解决这一问题，本文提出了GestureGPT，一个模仿人类手势理解过程的框架，旨在实现自然的自由形式手势接口。该框架利用多个大型语言模型代理来管理和综合手势与上下文信息，从而推断交互意图。具体而言，框架包括手势描述代理、手势推理代理和上下文管理代理，通过迭代交流，最终识别用户的意图。我们在智能家居控制和在线视频流等真实场景中对框架进行了离线验证，取得了良好的零-shot准确率。

🔬 方法详解

问题定义：本文旨在解决现有手势接口仅支持固定手势集的问题，这种限制使得用户在交互时需要额外的学习和演示，降低了自然性和灵活性。

核心思路：GestureGPT框架通过模拟人类的手势理解过程，利用多个大型语言模型代理来综合手势和上下文信息，从而实现自由形式手势的理解和交互。

技术框架：整体架构包括三个主要模块：手势描述代理负责从手势坐标中生成自然语言描述；手势推理代理通过自我推理和上下文查询来解读描述；上下文管理代理则管理交互历史和其他上下文信息。

关键创新：最重要的创新在于引入了多代理系统，能够在没有预先定义手势的情况下，通过上下文信息推断用户意图，这与传统的手势识别方法有本质区别。

关键设计：在设计中，手势描述代理使用手部关键点坐标进行描述生成，手势推理代理通过自我推理机制和上下文查询进行意图识别，确保了系统的灵活性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，GestureGPT在智能家居控制任务中实现了44.79%的零-shot Top-1准确率和83.59%的Top-5准确率，而在在线视频流任务中则分别为37.50%和73.44%。这些结果表明该框架在自由形式手势理解方面具有显著的性能提升。

🎯 应用场景

GestureGPT的潜在应用场景包括智能家居控制、虚拟现实、增强现实等领域，能够为用户提供更加自然和直观的交互体验。随着技术的进步，该系统有望在多种人机交互场景中发挥重要作用，提升用户的使用满意度和交互效率。

📄 摘要（原文）

Existing gesture interfaces only work with a fixed set of gestures defined either by interface designers or by users themselves, which introduces learning or demonstration efforts that diminish their naturalness. Humans, on the other hand, understand free-form gestures by synthesizing the gesture, context, experience, and common sense. In this way, the user does not need to learn, demonstrate, or associate gestures. We introduce GestureGPT, a free-form hand gesture understanding framework that mimics human gesture understanding procedures to enable a natural free-form gestural interface. Our framework leverages multiple Large Language Model agents to manage and synthesize gesture and context information, then infers the interaction intent by associating the gesture with an interface function. More specifically, our triple-agent framework includes a Gesture Description Agent that automatically segments and formulates natural language descriptions of hand poses and movements based on hand landmark coordinates. The description is deciphered by a Gesture Inference Agent through self-reasoning and querying about the interaction context (e.g., interaction history, gaze data), which is managed by a Context Management Agent. Following iterative exchanges, the Gesture Inference Agent discerns the user's intent by grounding it to an interactive function. We validated our framework offline under two real-world scenarios: smart home control and online video streaming. The average zero-shot Top-1/Top-5 grounding accuracies are 44.79%/83.59% for smart home tasks and 37.50%/73.44% for video streaming tasks. We also provide an extensive discussion that includes rationale for model selection, generalizability, and future research directions for a practical system etc.