Large language models in textual analysis for gesture selection

📄 arXiv: 2310.13705v1 📥 PDF

作者: Laura B. Hensel, Nutchanon Yongsatianchot, Parisa Torshizi, Elena Minucci, Stacy Marsella

分类: cs.HC, cs.AI

发布日期: 2023-10-04

期刊: 25th ACM International Conference on Multimodal Interaction. ICMI. 2023. 1-10

💡 一句话要点

利用大型语言模型解决手势选择中的数据不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 手势生成 大型语言模型 人机交互 上下文理解 自动化设计

📋 核心要点

  1. 现有的自动手势生成方法在数据获取和设计者控制方面存在显著挑战，限制了其应用效果。
  2. 本文提出利用大型语言模型（LLMs），如ChatGPT，来生成上下文特定的手势，旨在提高生成的灵活性和适应性。
  3. 实验结果表明，ChatGPT能够在最小训练数据的基础上提出新颖的手势，显示出较高的生成质量和设计者意图的实现能力。

📝 摘要（中文）

手势在面对面交流中发挥着多种沟通功能，其实现方式因个体、说话者角色和交互背景而异。现有自动手势生成方法面临两个主要挑战：一是获取适合特定背景和应用目标的训练数据，二是设计者对生成手势的控制能力。本文通过使用大型语言模型（LLMs），特别是ChatGPT，展示了如何在最小提示下建议上下文特定的手势，并发现其能够提出新颖且适当的手势，减少繁琐的标注需求，灵活适应不同设计者的意图。

🔬 方法详解

问题定义：本文旨在解决自动手势生成中训练数据不足和设计者控制能力不足的问题。现有方法往往依赖于大量标注数据，且难以满足特定上下文的需求。

核心思路：通过利用大型语言模型（LLMs），特别是ChatGPT，来生成上下文相关的手势，减少对大量标注数据的依赖，并提高生成的灵活性和适应性。

技术框架：整体架构包括数据输入、模型推理和手势生成三个主要模块。输入部分接收设计者的最小提示，模型推理阶段利用ChatGPT生成手势建议，最后输出适合上下文的手势。

关键创新：最重要的创新在于使用大型语言模型进行手势生成，这与传统方法依赖于大量标注数据的方式有本质区别，能够在数据稀缺的情况下仍然实现高质量的手势生成。

关键设计：在模型训练中，采用了特定的提示设计以引导ChatGPT生成符合设计者意图的手势，并通过实验验证了生成手势的适当性和新颖性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ChatGPT在最小训练数据的基础上能够生成新颖且适当的手势，显著提升了手势生成的质量和设计者意图的实现能力。与传统方法相比，生成手势的多样性和适应性有了明显改善，展示了大型语言模型在手势生成中的潜力。

🎯 应用场景

该研究的潜在应用领域包括人机交互、虚拟现实和增强现实等场景，能够为设计师提供灵活的手势生成工具，提升用户体验。未来，该方法有望在教育、娱乐和社交等多个领域发挥重要作用，推动自动化手势生成技术的发展。

📄 摘要（原文）

Gestures perform a variety of communicative functions that powerfully influence human face-to-face interaction. How this communicative function is achieved varies greatly between individuals and depends on the role of the speaker and the context of the interaction. Approaches to automatic gesture generation vary not only in the degree to which they rely on data-driven techniques but also the degree to which they can produce context and speaker specific gestures. However, these approaches face two major challenges: The first is obtaining sufficient training data that is appropriate for the context and the goal of the application. The second is related to designer control to realize their specific intent for the application. Here, we approach these challenges by using large language models (LLMs) to show that these powerful models of large amounts of data can be adapted for gesture analysis and generation. Specifically, we used ChatGPT as a tool for suggesting context-specific gestures that can realize designer intent based on minimal prompts. We also find that ChatGPT can suggests novel yet appropriate gestures not present in the minimal training data. The use of LLMs is a promising avenue for gesture generation that reduce the need for laborious annotations and has the potential to flexibly and quickly adapt to different designer intents.