Past as State, Present as Attention: Persistent-State Blockwise Flow Matching for Long-Horizon Co-Speech Motion Generation

📄 arXiv: 2610.32373v1 📥 PDF

作者: Yi Liu, Xiangyue Zhang, Jianfang Li, Jia Ma, Yisheng He, Jianqiang Ren

分类: cs.CV, cs.GR, cs.MM

发布日期: 2026-10-23

备注: Accepted at NeurIPS 2026. 38 pages, 10 figures, 17 tables

💡 一句话要点

提出PASPA以解决长时间段共语动作生成问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 共语动作生成 长时间段建模 自注意力机制 持久状态 块状流匹配 多模态监督 虚拟现实 人机交互

📋 核心要点

  1. 现有的共语动作生成方法在长时间段上存在时间一致性和风格一致性不足的问题。
  2. 本文提出的PASPA方法通过块间持久状态总结过去历史，块内双向自注意力建模当前段落，解决了现有方法的不足。
  3. 实验结果显示，PASPA在公共基准测试中达到了最先进的性能，并有效保持了动作风格。

📝 摘要（中文）

共语动作生成在长时间段上仍然面临挑战，主要由于需要保持时间一致性和风格一致性。现有方法通常是逐段生成长动作，依赖于短时间的最近帧或维护越来越长的历史记录，这在数据有限的情况下难以学习。本文提出了一种简单的“过去作为状态，当前作为注意力”的原则，提出了PASPA方法，通过块间持久状态总结过去历史，并利用块内双向自注意力建模当前段落。实验表明，PASPA在公共基准测试中实现了最先进的FGD性能，并在长序列生成中保持了动作风格。

🔬 方法详解

问题定义：本文旨在解决长时间段共语动作生成中的时间一致性和风格一致性问题。现有方法依赖短时间帧或长历史记录，导致生成效果不佳，尤其是在数据有限的情况下。

核心思路：提出“过去作为状态，当前作为注意力”的原则，利用块间持久状态来总结过去的历史信息，同时通过块内双向自注意力来精细建模当前段落的动态变化。

技术框架：PASPA方法在块状流匹配框架内实现，包含多个主要模块，如多块监督、状态缓存和混合无分类器引导，以提高训练效率和生成质量。

关键创新：最重要的创新在于将过去的历史信息以持久状态的形式进行压缩，同时通过自注意力机制对当前段落进行细致建模，这种设计有效解决了现有方法的不足。

关键设计：在模型设计中，采用了多块监督机制以适应可变历史，状态缓存技术以提高生成效率，以及混合无分类器引导以增强历史和语音的条件化效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PASPA在公共基准测试中实现了最先进的FGD性能，相较于现有方法，生成的动作风格在长序列生成中保持一致性，显示出显著的提升效果。

🎯 应用场景

该研究在动画生成、虚拟现实和人机交互等领域具有广泛的应用潜力。通过提高长时间段动作生成的质量，可以为多模态内容创作提供更自然的表现形式，推动相关技术的发展和应用。

📄 摘要（原文）

Co-speech motion generation remains challenging over long horizons due to the need for temporal coherence and consistent style. Existing methods typically generate long motions segment by segment, either conditioning on a short seed of recent frames, which gradually drifts, or retaining ever-longer explicit histories, which are costly to maintain and hard to learn from limited data. We trace these limitations to a key asymmetry between past and present: past motion carries slowly varying style that should be compactly summarized, whereas the current segment exhibits fast-changing local dynamics that require fine-grained modeling. This asymmetry motivates a simple Past-As-State, Present-as-Attention principle for long-horizon co-speech motion generation. Following this principle, we propose PASPA, which summarizes past history with an inter-block persistent state and models the current segment with intra-block bidirectional self-attention. We instantiate PASPA within a blockwise flow matching framework, with multi-block supervision for effective training over variable histories, prefill-decode state caching for efficient rollout, and hybrid classifier-free guidance for enhanced history and speech conditioning. Extensive public-benchmark experiments show that PASPA achieves state-of-the-art FGD performance and preserves motion style across long-sequence generation.