MotionPersona: Characteristics-aware Locomotion Control
作者: Mingyi Shi, Wei Liu, Jidong Mei, Wangpok Tse, Rui Chen, Xuelin Chen, Taku Komura
分类: cs.GR, cs.RO
发布日期: 2025-05-30
备注: 15 pages, 13 figures, webpage: https://motionpersona25.github.io/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
MotionPersona：提出特性感知的实时角色运动控制方法
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 运动控制 角色动画 扩散模型 特性感知 SMPLX 深度学习 运动生成
📋 核心要点
- 现有基于深度学习的运动控制器通常为单个预定义角色生成同质动画，忽略了角色自身属性对运动的影响。
- MotionPersona提出了一种块自回归运动扩散模型，该模型以SMPLX参数、文本提示和用户控制信号为条件，从而实现特性感知的运动控制。
- 实验结果表明，MotionPersona在运动质量和多样性方面优于现有方法，能够生成更符合角色特征的运动。
📝 摘要（中文）
MotionPersona是一种新颖的实时角色控制器，允许用户通过指定物理特征、精神状态和人口统计学属性来刻画角色，并将这些属性投射到生成的动画中。与现有的基于深度学习的控制器不同，MotionPersona考虑了各种特征对人类运动的影响。为此，我们开发了一个基于SMPLX参数、文本提示和用户定义的运动控制信号的块自回归运动扩散模型。我们还整理了一个包含各种运动类型和演员特征的综合数据集，以训练这个特性感知控制器。MotionPersona是第一个能够生成真实反映用户指定特征（例如，老年人蹒跚的步态）的运动，并实时响应动态控制输入的方法。此外，我们引入了一种few-shot特征描述技术，作为一种补充调节机制，当语言提示不足时，可以通过短运动片段进行定制。实验表明，MotionPersona在特性感知运动控制方面优于现有方法，实现了卓越的运动质量和多样性。
🔬 方法详解
问题定义：现有基于深度学习的运动控制方法无法根据角色的不同特征（如年龄、性格等）生成相应的运动。它们通常针对单一角色进行优化，生成的运动缺乏多样性和个性化，难以满足实际应用需求。因此，如何实现特性感知的运动控制是一个重要的挑战。
核心思路：MotionPersona的核心思路是将角色的各种特征（物理、心理、人口统计学等）作为条件，融入到运动生成过程中。通过学习这些特征与运动之间的关系，模型能够根据用户指定的角色特征生成相应的运动。这种方法的核心在于建立一个能够理解和表达角色特征的运动生成模型。
技术框架：MotionPersona采用块自回归运动扩散模型作为其核心技术框架。该模型以SMPLX参数、文本提示和用户定义的运动控制信号作为输入，生成具有特定角色特征的运动。整体流程包括：1) 角色特征编码：将用户指定的角色特征（文本描述、少量运动片段等）编码成向量表示；2) 运动扩散模型：利用扩散模型逐步生成运动序列，并在每一步都将角色特征向量作为条件；3) 运动控制：用户可以通过控制信号实时调整生成的运动。
关键创新：MotionPersona的关键创新在于其特性感知的运动生成能力。与现有方法相比，MotionPersona能够根据用户指定的角色特征生成更具个性化和多样性的运动。此外，该方法还引入了一种few-shot特征描述技术，允许用户通过少量运动片段来定制角色特征，从而弥补了文本描述的不足。
关键设计：MotionPersona的关键设计包括：1) 块自回归结构：利用块自回归结构捕捉运动序列中的长期依赖关系；2) SMPLX参数化：使用SMPLX参数化人体姿态，从而实现更精确的运动控制；3) 扩散模型：采用扩散模型生成高质量的运动序列；4) 特征融合：设计有效的特征融合机制，将角色特征与运动控制信号融合在一起。
🖼️ 关键图片
📊 实验亮点
MotionPersona在特性感知运动控制方面取得了显著成果。实验表明，MotionPersona能够生成更符合角色特征的运动，在运动质量和多样性方面优于现有方法。通过用户研究，验证了MotionPersona在生成具有特定角色特征的运动方面的有效性。此外，few-shot characterization技术也展现了良好的定制能力，能够通过少量运动片段生成符合用户期望的运动。
🎯 应用场景
MotionPersona可应用于游戏、电影、虚拟现实等领域，为虚拟角色赋予更丰富的个性和更真实的运动。例如，在游戏中，可以根据玩家选择的角色属性生成相应的运动动画，提升游戏体验。在电影制作中，可以快速生成具有特定角色特征的运动序列，降低制作成本。此外，该技术还可用于康复训练，根据患者的身体状况生成个性化的运动方案。
📄 摘要（原文）
We present MotionPersona, a novel real-time character controller that allows users to characterize a character by specifying attributes such as physical traits, mental states, and demographics, and projects these properties into the generated motions for animating the character. In contrast to existing deep learning-based controllers, which typically produce homogeneous animations tailored to a single, predefined character, MotionPersona accounts for the impact of various traits on human motion as observed in the real world. To achieve this, we develop a block autoregressive motion diffusion model conditioned on SMPLX parameters, textual prompts, and user-defined locomotion control signals. We also curate a comprehensive dataset featuring a wide range of locomotion types and actor traits to enable the training of this characteristic-aware controller. Unlike prior work, MotionPersona is the first method capable of generating motion that faithfully reflects user-specified characteristics (e.g., an elderly person's shuffling gait) while responding in real time to dynamic control inputs. Additionally, we introduce a few-shot characterization technique as a complementary conditioning mechanism, enabling customization via short motion clips when language prompts fall short. Through extensive experiments, we demonstrate that MotionPersona outperforms existing methods in characteristics-aware locomotion control, achieving superior motion quality and diversity. Results, code, and demo can be found at: https://motionpersona25.github.io/.