GestureFAR: Streaming Co-Speech Gesture Generation with Flow Autoregression

📄 arXiv: 2609.21576v1 📥 PDF

作者: Pinxin Liu, Haiyang Liu, Jiahao Luo, Junhua Huang, Chunhao Zou, Luchuan Song

分类: cs.CV, cs.GR, cs.HC

发布日期: 2026-09-18

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出GestureFAR以解决流媒体共语手势生成问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 流媒体生成 共语手势 自回归模型 变换器 流匹配 因果性 实时交互

📋 核心要点

  1. 现有的流媒体手势生成方法通过离散运动标记进行自回归，导致生成手势的真实感和多样性受限。
  2. GestureFAR提出了一种流自回归框架，使用变换器建模音频-运动上下文，并通过流匹配头进行连续潜在变量的采样。
  3. 在BEAT2数据集上的实验表明，GestureFAR在流媒体生成中显著提高了质量与延迟的平衡，支持实时生成。

📝 摘要（中文）

生成自然的共语手势对于具身对话代理至关重要，尤其是在用户仍在讲话时需要实时生成动作。现有的流媒体手势系统通过对离散运动标记进行自回归来实现在线生成，但这种设计将高维连续运动压缩为有限的代码本，限制了生成手势的真实感和多样性。为了解决这一问题，本文提出了GestureFAR，一个流自回归框架，用于流媒体共语手势生成。GestureFAR通过变换器建模流媒体音频-运动上下文，并使用每个标记的流匹配头从连续分布中采样下一个潜在变量。实验结果表明，GestureFAR在流媒体方法中显著改善了质量与延迟的权衡，保持了强大的手势质量，同时实现了实时的标记因果生成。

🔬 方法详解

问题定义：本文旨在解决流媒体共语手势生成中的延迟和真实感问题。现有方法通过离散运动标记进行自回归，导致生成的手势缺乏连续性和多样性。

核心思路：GestureFAR的核心思路是采用流自回归框架，直接在连续运动潜在变量上进行自回归，以保持因果性和连续表达能力。通过变换器建模音频与运动的上下文，提升生成的自然性。

技术框架：GestureFAR的整体架构包括两个主要模块：首先是基于变换器的音频-运动上下文建模，其次是每个标记的流匹配头，用于从连续分布中采样潜在变量。

关键创新：GestureFAR的主要创新在于引入了头部流蒸馏策略，冻结因果主干，并将多步的每个标记流头蒸馏为单个网络评估，从而消除了实时交互的延迟瓶颈。

关键设计：在模型设计中，采用了流匹配头和一致性、分布匹配目标作为损失函数，确保模型在生成过程中保持因果性，同时优化生成速度。整体网络结构经过精心设计，以支持实时的标记因果生成。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在BEAT2数据集上的实验结果显示，GestureFAR在流媒体生成方法中显著改善了质量与延迟的权衡，相较于基线方法，手势质量保持强劲，同时实现了实时的标记因果生成，提升幅度明显。

🎯 应用场景

GestureFAR的研究成果在具身对话代理、虚拟现实和增强现实等领域具有广泛的应用潜力。通过实现自然的共语手势生成，能够提升人机交互的真实感和沉浸感，推动智能助手和社交机器人等技术的发展。未来，GestureFAR可能会在教育、娱乐和心理治疗等领域发挥重要作用。

📄 摘要（原文）

Generating natural co-speech gestures from streaming speech is essential for embodied conversational agents, where motion must be produced while a user is still speaking. Recent streaming gesture systems make online generation possible by autoregressing over discrete motion tokens, but this design compresses high-dimensional continuous motion into finite codebooks and can limit the realism and diversity of generated gestures. To preserve both causality and continuous expressiveness, we propose \textbf{GestureFAR}, a flow-autoregressive framework for streaming co-speech gesture generation. First, GestureFAR autoregresses over causal continuous motion latents, using a transformer to model streaming audio-motion context and a per-token flow-matching head to sample the next latent from a continuous distribution. Second, we introduce a head-only flow distillation strategy that freezes the causal backbone and distills the multi-step per-token flow head into a single network evaluation using consistency and distribution-matching objectives. This keeps the model token-causal while removing the main latency bottleneck for live interaction. Experiments on BEAT2 show that GestureFAR significantly improves the quality--latency trade-off among streaming-capable methods, preserving strong gesture quality while enabling real-time token-causal generation. Project Page: https://andypinxinliu.github.io/GestureFAR