MotionStreamer: Streaming Motion Generation via Diffusion-based Autoregressive Model in Causal Latent Space
作者: Lixing Xiao, Shunlin Lu, Huaijin Pi, Ke Fan, Liang Pan, Yueer Zhou, Ziyong Feng, Xiaowei Zhou, Sida Peng, Jingbo Wang
分类: cs.CV
发布日期: 2025-03-19 (更新: 2025-08-07)
备注: ICCV 2025. Project Page: https://zju3dv.github.io/MotionStreamer/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
MotionStreamer：提出基于扩散的自回归模型，在因果隐空间中实现流式运动生成。
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)
关键词: 流式运动生成 文本驱动 扩散模型 自回归模型 因果隐空间 人体姿态 运动动画
📋 核心要点
- 现有文本驱动的运动生成方法难以实现流式生成，存在长度限制、延迟响应和误差累积等问题。
- MotionStreamer通过构建连续因果隐空间，并融入概率自回归模型，有效缓解了信息损失和误差累积。
- 实验结果表明，MotionStreamer在流式运动生成任务上优于现有方法，并支持多轮、长期和动态运动组合等应用。
📝 摘要（中文）
本文旨在解决文本条件下的流式运动生成问题，即根据变长历史运动和输入的文本预测下一步的人体姿态。现有方法难以实现流式运动生成，例如，扩散模型受到预定义运动长度的限制，而基于GPT的方法由于离散化的非因果tokenization，存在响应延迟和误差累积问题。为了解决这些问题，我们提出了MotionStreamer，一种将连续因果隐空间融入概率自回归模型的新框架。连续隐变量减轻了离散化造成的信息损失，并有效减少了长期自回归生成过程中的误差累积。此外，通过建立当前和历史运动隐变量之间的时间因果依赖关系，我们的模型充分利用可用信息来实现准确的在线运动解码。实验表明，我们的方法优于现有方法，并提供了更多的应用，包括多轮生成、长期生成和动态运动组合。
🔬 方法详解
问题定义：论文旨在解决文本驱动的流式运动生成问题。现有方法，如扩散模型，通常需要预先定义运动长度，无法处理变长的历史运动信息。而基于GPT的方法，由于需要将连续的运动数据离散化为token，引入了信息损失，并且非因果的tokenization方式会导致响应延迟和误差累积，难以满足流式生成的需求。
核心思路：MotionStreamer的核心思路是构建一个连续的因果隐空间，并在此基础上建立概率自回归模型。通过将运动数据映射到连续隐空间，避免了离散化带来的信息损失。同时，利用因果关系建模历史运动和当前运动之间的依赖，从而实现准确的在线运动解码。
技术框架：MotionStreamer的整体框架包含以下几个主要模块：1) 运动编码器：将历史运动数据编码到连续的隐空间中。2) 文本编码器：将输入的文本信息编码为文本特征。3) 自回归解码器：基于历史运动隐变量和文本特征，自回归地预测下一步的运动隐变量。4) 运动解码器：将预测的运动隐变量解码为人体姿态。模型通过建立时间上的因果依赖关系，实现流式的运动生成。
关键创新：MotionStreamer最重要的创新在于提出了连续因果隐空间的概念，并将其应用于流式运动生成任务中。与现有方法相比，MotionStreamer避免了离散化带来的信息损失，并有效减少了长期自回归生成过程中的误差累积。此外，通过建立时间因果依赖关系，模型能够充分利用历史信息，实现更准确的在线运动解码。
关键设计：MotionStreamer的关键设计包括：1) 使用变分自编码器（VAE）将运动数据编码到连续隐空间中。2) 使用Transformer网络作为自回归解码器，建模历史运动隐变量和文本特征之间的依赖关系。3) 设计了特定的损失函数，包括重构损失和KL散度损失，用于训练VAE和自回归解码器。4) 采用Teacher-Forcing的方式训练自回归解码器，并使用采样策略生成运动序列。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MotionStreamer在流式运动生成任务上优于现有方法。例如，在运动质量和文本匹配度等指标上，MotionStreamer相比于基线方法取得了显著的提升。此外，MotionStreamer还展示了多轮生成、长期生成和动态运动组合等应用，进一步验证了其优越性。项目主页提供了更多实验细节和可视化结果。
🎯 应用场景
MotionStreamer具有广泛的应用前景，例如虚拟现实、游戏开发、人机交互等领域。它可以用于生成逼真的人体运动动画，提升用户体验。此外，MotionStreamer还可以应用于机器人控制领域，使机器人能够根据文本指令执行复杂的运动任务。未来，MotionStreamer有望成为智能体运动生成的重要技术。
📄 摘要（原文）
This paper addresses the challenge of text-conditioned streaming motion generation, which requires us to predict the next-step human pose based on variable-length historical motions and incoming texts. Existing methods struggle to achieve streaming motion generation, e.g., diffusion models are constrained by pre-defined motion lengths, while GPT-based methods suffer from delayed response and error accumulation problem due to discretized non-causal tokenization. To solve these problems, we propose MotionStreamer, a novel framework that incorporates a continuous causal latent space into a probabilistic autoregressive model. The continuous latents mitigate information loss caused by discretization and effectively reduce error accumulation during long-term autoregressive generation. In addition, by establishing temporal causal dependencies between current and historical motion latents, our model fully utilizes the available information to achieve accurate online motion decoding. Experiments show that our method outperforms existing approaches while offering more applications, including multi-round generation, long-term generation, and dynamic motion composition. Project Page: https://zju3dv.github.io/MotionStreamer/