Autoregressive Flow Matching for Motion Prediction

📄 arXiv: 2512.22688v1 📥 PDF

作者: Johnathan Xie, Stefan Stojanov, Cristobal Eyzaguirre, Daniel L. K. Yamins, Jiajun Wu

分类: cs.CV

发布日期: 2025-12-27

🔗 代码/项目: GITHUB

💡 一句话要点

提出自回归Flow Matching模型ARFM，用于长时程运动轨迹预测。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 运动预测 轨迹预测 自回归模型 Flow Matching 机器人运动 人类运动 序列建模

📋 核心要点

  1. 现有运动预测模型通常在狭窄的数据分布上训练，难以准确建模复杂运动。
  2. ARFM通过自回归的方式，利用Flow Matching技术对连续序列数据进行概率建模，从而预测未来轨迹。
  3. 实验表明，ARFM在人类和机器人运动预测基准上表现出色，并能提升下游任务性能。

📝 摘要（中文）

本文提出了一种新的概率建模方法，即自回归Flow Matching (ARFM)，用于对连续序列数据进行建模。该方法受到视频生成领域进展的启发，并应用于预测长时程的未来点轨迹位置，模型在多样化的视频数据集上进行训练。为了评估模型，本文构建了用于评估人类和机器人运动预测能力的基准。实验结果表明，ARFM能够预测复杂的运动，并且将预测的未来轨迹作为条件，可以显著提高机器人动作预测和人类运动预测等下游任务的性能。代码和模型已公开。

🔬 方法详解

问题定义：现有的运动预测模型通常在特定的、狭窄的数据分布上进行训练，这限制了它们在更广泛和复杂的运动场景中的应用。尤其是在长时程预测中，模型难以捕捉到运动的复杂性和不确定性，导致预测精度下降。此外，如何有效地利用预测的轨迹信息来提升下游任务的性能也是一个挑战。

核心思路：ARFM的核心思路是借鉴视频生成领域的Flow Matching技术，将其应用于运动预测。Flow Matching能够学习数据分布之间的连续变换，从而实现生成式建模。通过自回归的方式，ARFM能够逐步预测未来的轨迹点，并利用先前预测的轨迹点作为条件，进一步提高预测的准确性和连贯性。这种方法能够更好地捕捉运动的动态特性和长期依赖关系。

技术框架：ARFM的整体框架包含以下几个主要模块：1) 轨迹编码器：将输入的历史轨迹编码成一个潜在表示。2) 自回归Flow Matching模块：该模块是ARFM的核心，它以编码后的潜在表示和先前预测的轨迹点作为输入，预测下一个轨迹点。该模块基于Flow Matching技术，学习一个连续的向量场，将当前轨迹点映射到下一个轨迹点。3) 轨迹解码器：将预测的轨迹点解码成最终的轨迹序列。整个过程是自回归的，即每个轨迹点的预测都依赖于先前预测的轨迹点。

关键创新：ARFM的关键创新在于将Flow Matching技术引入到运动预测领域，并结合自回归的框架，实现了对复杂运动的长时程预测。与传统的运动预测方法相比，ARFM能够更好地捕捉运动的动态特性和长期依赖关系，从而提高预测的准确性和连贯性。此外，ARFM还提出了一种新的评估基准，用于评估运动预测模型在人类和机器人运动预测任务上的性能。

关键设计：ARFM的关键设计包括：1) Flow Matching损失函数：ARFM使用Flow Matching损失函数来训练自回归Flow Matching模块，该损失函数鼓励模型学习一个连续的向量场，将当前轨迹点映射到下一个轨迹点。2) 自回归结构：ARFM采用自回归的结构，使得每个轨迹点的预测都依赖于先前预测的轨迹点，从而捕捉运动的长期依赖关系。3) 条件输入：ARFM将先前预测的轨迹点作为条件输入到自回归Flow Matching模块中，从而提高预测的准确性和连贯性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ARFM在人类运动预测和机器人运动预测基准上取得了显著的成果。实验表明，ARFM能够预测复杂的运动，并且将预测的未来轨迹作为条件，可以显著提高机器人动作预测和人类运动预测等下游任务的性能。具体性能数据和对比基线信息未在摘要中明确给出，需参考论文全文。

🎯 应用场景

ARFM具有广泛的应用前景，例如在自动驾驶中预测行人和车辆的运动轨迹，从而提高驾驶安全性；在机器人领域，可以预测人类的运动，从而实现人机协作；在动画和游戏领域，可以生成逼真的角色运动。

📄 摘要（原文）

Motion prediction has been studied in different contexts with models trained on narrow distributions and applied to downstream tasks in human motion prediction and robotics. Simultaneously, recent efforts in scaling video prediction have demonstrated impressive visual realism, yet they struggle to accurately model complex motions despite massive scale. Inspired by the scaling of video generation, we develop autoregressive flow matching (ARFM), a new method for probabilistic modeling of sequential continuous data and train it on diverse video datasets to generate future point track locations over long horizons. To evaluate our model, we develop benchmarks for evaluating the ability of motion prediction models to predict human and robot motion. Our model is able to predict complex motions, and we demonstrate that conditioning robot action prediction and human motion prediction on predicted future tracks can significantly improve downstream task performance. Code and models publicly available at: https://github.com/Johnathan-Xie/arfm-motion-prediction.