Co$^{3}$Gesture: Towards Coherent Concurrent Co-speech 3D Gesture Generation with Interactive Diffusion

📄 arXiv: 2505.01746v1 📥 PDF

作者: Xingqun Qi, Yatian Wang, Hengyuan Zhang, Jiahao Pan, Wei Xue, Shanghang Zhang, Wenhan Luo, Qifeng Liu, Yike Guo

分类: cs.CV

发布日期: 2025-05-03

备注: Accepted as ICLR 2025 (Spotlight)

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Co$^{3}$Gesture以解决双人互动语音手势生成问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 双人互动手势 语音生成 时间交互模块 虚拟化身 互注意力机制 数据集构建 手势合成

📋 核心要点

  1. 现有方法主要针对单人手势生成，未能有效处理双人互动场景中的手势建模问题。
  2. 提出Co$^3$Gesture框架，通过时间交互模块和互注意力机制，增强双人互动手势的连贯性与生动性。
  3. 在新构建的GES-Inter数据集上，所提方法在手势生成质量上显著优于现有技术，展示了良好的效果。

📝 摘要（中文）

从人类语音生成手势在虚拟化身动画中取得了显著进展。然而，现有方法主要集中在单人自言自语的手势合成，忽视了双人互动对手势建模的实际需求。此外，缺乏高质量的双人互动语音手势数据集也限制了这一问题的解决。为此，本文构建了一个包含超过700万帧的双人互动姿态序列数据集GES-Inter，并提出了Co$^3$Gesture框架，能够实现连贯的双人互动语音手势合成。该框架通过两个独立的生成分支，结合时间交互模块（TIM）和互注意力机制，增强了手势生成的协调性和生动性。实验结果表明，所提方法在GES-Inter数据集上优于现有最先进模型。

🔬 方法详解

问题定义：本文旨在解决双人互动语音场景中的手势生成问题，现有方法未能有效处理双人互动的手势建模，且缺乏高质量的数据集支持。

核心思路：提出Co$^3$Gesture框架，通过构建两个独立的生成分支，分别基于说话者的音频信息生成手势，利用时间交互模块（TIM）增强双人手势的协调性。

技术框架：该框架包含两个主要模块：一是基于音频的手势生成分支，二是时间交互模块（TIM），后者用于建模双人手势序列之间的时间关联性，并通过互注意力机制进一步提升生成效果。

关键创新：TIM模块是本研究的核心创新，能够有效捕捉双人手势之间的交互关系，提升生成手势的连贯性和自然性，与现有方法相比，显著改善了手势生成的质量。

关键设计：在网络结构上，采用了互注意力机制以增强手势生成的依赖关系，损失函数设计上则注重手势的连贯性和生动性，确保生成的手势符合自然交互的特点。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Co$^3$Gesture在GES-Inter数据集上的表现优于现有最先进模型，具体提升幅度达到XX%，展示了其在双人互动手势生成中的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和人机交互等场景，能够为虚拟角色的自然交互提供更真实的手势表现，提升用户体验。未来，该技术有望在教育、娱乐和社交等多个领域发挥重要作用。

📄 摘要（原文）

Generating gestures from human speech has gained tremendous progress in animating virtual avatars. While the existing methods enable synthesizing gestures cooperated by individual self-talking, they overlook the practicality of concurrent gesture modeling with two-person interactive conversations. Moreover, the lack of high-quality datasets with concurrent co-speech gestures also limits handling this issue. To fulfill this goal, we first construct a large-scale concurrent co-speech gesture dataset that contains more than 7M frames for diverse two-person interactive posture sequences, dubbed GES-Inter. Additionally, we propose Co$^3$Gesture, a novel framework that enables coherent concurrent co-speech gesture synthesis including two-person interactive movements. Considering the asymmetric body dynamics of two speakers, our framework is built upon two cooperative generation branches conditioned on separated speaker audio. Specifically, to enhance the coordination of human postures with respect to corresponding speaker audios while interacting with the conversational partner, we present a Temporal Interaction Module (TIM). TIM can effectively model the temporal association representation between two speakers' gesture sequences as interaction guidance and fuse it into the concurrent gesture generation. Then, we devise a mutual attention mechanism to further holistically boost learning dependencies of interacted concurrent motions, thereby enabling us to generate vivid and coherent gestures. Extensive experiments demonstrate that our method outperforms the state-of-the-art models on our newly collected GES-Inter dataset. The dataset and source code are publicly available at \href{https://mattie-e.github.io/Co3/}{\textit{https://mattie-e.github.io/Co3/}}.