A Benchmark for Spatially Grounded Gesture Generation
作者: Anna Deichler, Rishabh Dabral, Fethiye Irmak Dogan, Anindita Ghosh, Jonas Beskow
分类: cs.CV, cs.GR, cs.HC
发布日期: 2026-10-02
备注: 13 pages, 9 figures. Benchmark of the Referential Gesture Challenge at the HSI Workshop, ECCV 2026. Data and video: https://huggingface.co/datasets/hsi-workshop/referential-gesture-challenge
💡 一句话要点
提出空间基础手势生成基准以解决手势指向不明确问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 手势生成 空间基础 人机交互 虚拟现实 多模态交互
📋 核心要点
- 现有方法缺乏统一框架，无法有效评估生成手势是否指向正确的参照物，导致生成的手势可能看似自然但指向错误。
- 本文提出了一个新的基准，包含指向注释的对话片段，要求系统在对话中合理地进行手势指向，并提供了分离评估的协议。
- 实验结果表明，几何基础的手势生成在某些情况下可以超越人类的指向表现，但在感知自然性方面没有显著提升。
📝 摘要（中文）
在共享空间中，语言与非语言信号交织，指向手势将语言与环境锚定。然而，现有方法缺乏评估生成手势是否指向其预期参照物的统一框架。本文提出了一个空间基础手势生成的基准，包含约2000个自然对话中的指向注释片段，任务要求系统在对话中决定何时、如何以及在哪里指向，并提供了一个分离时间对齐、空间基础和感知自然性的协议。同时，本文还提供了一个流匹配基线MM-Conv-Flow。通过与独立的基于检索的系统和捕获的人类运动进行评估，发现几何基础的手势生成可以超越人类指向，但在感知自然性上没有提升，这表明参照手势质量必须沿不同维度进行测量。
🔬 方法详解
问题定义：本文旨在解决生成手势指向不明确的问题，现有方法往往只关注手势的自然性，而忽视了其指向的准确性。
核心思路：通过引入一个包含真实对话的基准数据集，论文强调了手势生成中空间基础的重要性，并提出了分离评估的协议来衡量手势的时间对齐、空间基础和自然性。
技术框架：整体架构包括数据收集、注释、模型训练和评估四个主要模块。数据收集阶段使用自然对话生成指向注释，模型训练阶段则采用MM-Conv-Flow作为基线模型进行手势生成。
关键创新：最重要的创新在于提出了一个新的评估协议，能够独立测量手势的几何基础和自然性，从而为手势生成提供了更全面的评估标准。
关键设计：在模型设计中，采用了流匹配技术，并设置了特定的损失函数来优化手势的空间基础和时间对齐，确保生成的手势既自然又准确。
🖼️ 关键图片
📊 实验亮点
实验结果显示，几何基础的手势生成在某些情况下超越了人类的指向表现，尽管在感知自然性上没有显著提升。这一发现强调了在手势生成中，参照手势质量需要沿不同维度进行评估。
🎯 应用场景
该研究的潜在应用领域包括人机交互、虚拟现实和增强现实等场景，能够提升虚拟助手和机器人在自然对话中的表现，增强用户体验。未来，该基准可能推动手势生成技术的发展，使其在多模态交互中更具实用性和准确性。
📄 摘要（原文）
Communication in shared space interweaves verbal and non-verbal signals, and pointing gestures anchor language to the environment: "put the cup on that one" is uninterpretable without the gesture that fixes the referent. Yet no common framework exists for evaluating whether generated gestures indicate their intended referent; distributional metrics reward a gesture aimed at the wrong object as long as it looks natural. We introduce a benchmark for spatially grounded gesture generation, comprising ~2K pointing-annotated clips from naturalistic VR dialogue with ground-truth 3D referents, a task in which systems must decide when, how and where to point within conversational speech, and a protocol that separates temporal alignment, spatial grounding and perceived naturalness. We also provide a flow-matching baseline, MM-Conv-Flow. Evaluating it alongside an independent retrieval-based system and captured human motion, we find that geometric grounding can exceed that of human pointing without any gain in perceived naturalness, showing that referential gesture quality must be measured along separate dimensions.