MotionScript: Natural Language Descriptions for Expressive 3D Human Motions

📄 arXiv: 2312.12634v5 📥 PDF

作者: Payam Jome Yazdian, Rachel Lagasse, Hamid Mohammadi, Eric Liu, Li Cheng, Angelica Lim

分类: cs.CV, cs.AI, cs.CL, cs.RO

发布日期: 2023-12-19 (更新: 2025-10-16)

备注: Project webpage: https://pjyazdian.github.io/MotionScript

💡 一句话要点

MotionScript：提出一种从自然语言生成富有表现力的3D人体运动的框架。

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D人体运动 自然语言描述 文本到运动 运动生成 大型语言模型 动作捕捉 虚拟人 机器人控制

📋 核心要点

  1. 现有运动数据集依赖宽泛标签或通用字幕，无法捕捉人类运动的细粒度复杂性，尤其是在表现力和交互方面。
  2. MotionScript框架将3D人体运动转化为结构化的自然语言描述，无需训练数据，为文本到运动模型提供训练资源。
  3. 实验表明，通过MotionScript增强运动数据集，可以显著提升大型语言模型在分布外运动生成方面的性能。

📝 摘要（中文）

本文介绍了一种名为MotionScript的新框架，用于生成高度详细的、关于3D人体运动的自然语言描述。与依赖于宽泛的动作标签或通用字幕的现有运动数据集不同，MotionScript提供了细粒度的、结构化的描述，捕捉了人类运动的完整复杂性，包括富有表现力的动作（例如，情绪、风格化的行走）以及超出标准运动捕捉数据集的交互。MotionScript既可以作为描述工具，也可以作为文本到运动模型的训练资源，从而能够从文本中合成高度逼真和多样化的人体运动。通过使用MotionScript字幕增强运动数据集，我们证明了在分布外运动生成方面的显著改进，允许大型语言模型（LLM）生成超出现有数据的运动。此外，MotionScript在动画、虚拟人模拟和机器人领域开辟了新的应用，在直观描述和运动合成之间提供了一个可解释的桥梁。据我们所知，这是首次尝试在不需要训练数据的情况下，系统地将3D运动转换为结构化的自然语言。

🔬 方法详解

问题定义：现有3D人体运动数据集的标注通常较为粗糙，缺乏对动作细节、情感表达和交互行为的细致描述。这限制了文本到运动生成模型的训练效果，难以生成逼真且富有表现力的运动。现有方法需要大量训练数据才能将3D运动转换为自然语言，成本高昂。

核心思路：MotionScript的核心在于设计一种结构化的自然语言描述体系，能够精确捕捉3D人体运动的各种细节，包括动作类型、速度、幅度、情感表达以及与其他物体的交互。通过将运动分解为一系列可描述的元素，并定义相应的语法规则，实现从运动到文本的自动转换。

技术框架：MotionScript框架包含以下几个主要模块：1) 运动解析模块：将3D运动数据分解为一系列关键帧和运动片段。2) 特征提取模块：提取每个运动片段的特征，包括关节角度、速度、加速度等。3) 描述生成模块：根据提取的特征和预定义的语法规则，生成相应的自然语言描述。4) 描述优化模块：对生成的描述进行润色和优化，使其更加自然流畅。

关键创新：MotionScript的关键创新在于其无需训练数据即可将3D运动转换为结构化的自然语言描述。这得益于精心设计的描述体系和语法规则，能够有效地捕捉运动的本质特征。与现有方法相比，MotionScript具有更高的灵活性和可扩展性，可以应用于各种类型的3D人体运动。

关键设计：MotionScript使用了一种基于规则的描述生成方法，其中规则定义了如何将运动特征转换为自然语言短语。这些规则考虑了各种因素，例如关节角度的范围、速度的阈值以及情感表达的类型。为了提高描述的自然度，MotionScript还使用了自然语言处理技术，例如词性标注和句法分析。

📊 实验亮点

论文通过实验证明，使用MotionScript增强运动数据集可以显著提高大型语言模型在分布外运动生成方面的性能。具体而言，使用MotionScript训练的文本到运动模型能够生成更加逼真、多样化和富有表现力的运动，并且能够泛化到未见过的动作类型和场景。

🎯 应用场景

MotionScript在动画制作、虚拟人模拟和机器人控制等领域具有广泛的应用前景。它可以用于自动生成动画角色的动作描述，提高动画制作效率。在虚拟人模拟中，MotionScript可以用于控制虚拟角色的行为，使其更加逼真自然。在机器人控制领域，MotionScript可以用于将自然语言指令转换为机器人的运动轨迹，实现人机交互。

📄 摘要（原文）

We introduce MotionScript, a novel framework for generating highly detailed, natural language descriptions of 3D human motions. Unlike existing motion datasets that rely on broad action labels or generic captions, MotionScript provides fine-grained, structured descriptions that capture the full complexity of human movement including expressive actions (e.g., emotions, stylistic walking) and interactions beyond standard motion capture datasets. MotionScript serves as both a descriptive tool and a training resource for text-to-motion models, enabling the synthesis of highly realistic and diverse human motions from text. By augmenting motion datasets with MotionScript captions, we demonstrate significant improvements in out-of-distribution motion generation, allowing large language models (LLMs) to generate motions that extend beyond existing data. Additionally, MotionScript opens new applications in animation, virtual human simulation, and robotics, providing an interpretable bridge between intuitive descriptions and motion synthesis. To the best of our knowledge, this is the first attempt to systematically translate 3D motion into structured natural language without requiring training data.