ARDY: Autoregressive Diffusion with Hybrid Representation for Interactive Human Motion Generation

📄 arXiv: 2607.08741v1 📥 PDF

作者: Kaifeng Zhao, Mathis Petrovich, Haotian Zhang, Tingwu Wang, Siyu Tang, Davis Rempe

分类: cs.GR, cs.CV, cs.LG, cs.RO

发布日期: 2026-07-09

备注: ACM Transactions on Graphics (SIGGRAPH 2026)

DOI: 10.1145/3811284

💡 一句话要点

提出ARDY以解决实时人类动作生成的控制性与速度问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 人类动作生成 实时生成 混合表示 自回归模型 运动约束 动画技术 虚拟现实

📋 核心要点

  1. 现有的离线动作生成方法缺乏实时推理速度，而在线方法又常常牺牲可控性和复杂语义处理能力。
  2. ARDY通过混合表示和自回归变换器去噪器，实现了高保真度的动作生成，支持在线文本提示和灵活的运动约束。
  3. 在HumanML3D基准和高保真Bones Rigplay数据集上的评估显示，ARDY在动作质量和约束遵循方面表现优异。

📝 摘要（中文）

在交互应用中实时生成逼真的3D人类动作是动画、仿真和类人机器人领域的关键。尽管近期的离线动作生成方法通过文本和运动约束提供了精确控制，但缺乏交互所需的推理速度。现有的在线方法虽然实现了实时合成，但常常牺牲可控性，或因上下文窗口限制而难以处理复杂的文本语义和长时间目标。本文提出的ARDY框架通过在线文本提示和灵活的运动约束实现高保真度的动作生成，填补了这一空白。ARDY采用混合表示，结合显式根特征与潜在身体嵌入，平衡了精确轨迹控制与高效生成学习。

🔬 方法详解

问题定义：本文旨在解决实时人类动作生成中的控制性与速度问题。现有方法在交互应用中往往无法兼顾生成速度与可控性，导致生成效果不理想。

核心思路：ARDY框架通过混合表示结合显式根特征与潜在身体嵌入，旨在实现高保真度的动作生成，同时保持对在线文本提示和运动约束的灵活控制。

技术框架：ARDY采用两阶段自回归变换器去噪器，支持可变历史上下文，并能够在灵活的长时间运动约束下进行条件生成。整体流程包括数据输入、特征提取、生成模型和输出阶段。

关键创新：ARDY的主要创新在于其混合表示和自回归生成框架，使得模型能够在保持高生成质量的同时，灵活应对复杂的控制需求。与现有方法相比，ARDY在生成速度和可控性上有显著提升。

关键设计：在模型设计中，ARDY使用了大规模运动捕捉数据集进行训练，并直接基于真实姿态的文本标签和运动约束进行条件生成，确保了生成的可控性和高质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在HumanML3D基准和Bones Rigplay数据集上的实验结果表明，ARDY在动作生成质量和约束遵循方面均表现出色，生成质量显著高于现有基线方法，验证了其架构设计的有效性。

🎯 应用场景

该研究在动画制作、虚拟现实、游戏开发和类人机器人等领域具有广泛的应用潜力。通过实现实时且可控的人类动作生成，ARDY能够提升用户交互体验，推动相关技术的进步与应用普及。

📄 摘要（原文）

Generating realistic 3D human motions in real-time within interactive applications is key for animation, simulation, and humanoid robotics. While recent offline motion generation approaches offer precise control via text and kinematic constraints, they lack the inference speed required for interactive settings. Conversely, existing online methods enable real-time synthesis but often sacrifice controllability or struggle with complex text semantics and long-horizon goals due to limited context windows. In this work, we introduce ARDY, a streaming generation framework that bridges this gap by enabling high-fidelity motion generation controllable via online text prompts and flexible kinematic constraints. ARDY employs a hybrid representation that combines explicit root features with a latent body embedding, balancing precise trajectory control with efficient generative learning. We propose a two-stage autoregressive transformer denoiser that features variable history context and supports conditioning on flexible, long-horizon kinematic constraints. By training on a large-scale motion capture dataset and being directly conditioned on text labels and kinematic constraints sampled from ground truth poses, ARDY natively learns controllable generation that supports online prompting and flexible long-horizon goals. Extensive evaluations on the HumanML3D benchmark and the large-scale, high-fidelity Bones Rigplay dataset demonstrate ARDY's high motion quality and constraint adherence, validating the efficacy of our key architectural decisions. Finally, we demonstrate the method's practical versatility through an interactive demo featuring dynamic text control, diverse keyframe pose constraints, path following, and interactive locomotion control via mouse and keyboard. Supplementary video results, code, and model releases can be found at https://research.nvidia.com/labs/sil/projects/ardy/.