From Motion to Behavior: Hierarchical Modeling of Humanoid Generative Behavior Control

📄 arXiv: 2506.00043v1 📥 PDF

作者: Jusheng Zhang, Jinzhou Tang, Sidi Liu, Mingyan Li, Sheng Zhang, Jian Wang, Keze Wang

分类: cs.RO, cs.CV

发布日期: 2025-05-28

💡 一句话要点

提出GBC框架，利用LLM驱动的分层行为计划生成多样且逼真的人形行为

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人体运动生成 行为建模 大型语言模型 分层规划 运动控制

📋 核心要点

  1. 现有方法在人体运动生成方面主要关注低层次运动或高层次动作规划，缺乏对人类行为分层目标导向特性的建模。
  2. GBC框架利用大型语言模型生成分层行为计划，并将这些计划与人体运动对齐，从而实现对多样化人体运动的控制。
  3. 实验表明，GBC在GBC-100K数据集上训练后，能够生成更具多样性和目的性的高质量人体运动，时间跨度显著提升。

📝 摘要（中文）

人体运动生成建模旨在刻画真实世界中复杂的人类日常活动。然而，当前研究主要集中于低层次、短周期的运动或高层次的动作规划，忽略了人类活动以目标为导向的分层特性。本文受到认知科学的启发，从人体运动生成迈向人体行为建模，提出了一个名为生成行为控制（GBC）的统一框架，通过将运动与大型语言模型（LLM）生成的分层行为计划对齐，来建模由各种高层意图驱动的多样化人体运动。核心思想是，人类运动可以像机器人中的任务和运动规划一样被联合控制，但通过LLM的引导可以实现更好的运动多样性和物理逼真度。同时，为了克服现有基准缺乏行为计划的局限性，我们提出了GBC-100K数据集，该数据集标注了由目标驱动的语义和运动计划的分层粒度。实验表明，在GBC-100K上训练时，GBC能够生成比现有方法更具多样性和目的性的高质量人体运动，并且时间跨度延长了10倍，为未来人体运动行为建模的研究奠定了基础。数据集和源代码将公开。

🔬 方法详解

问题定义：现有的人体运动生成方法要么侧重于短时、低层次的运动细节，要么关注高层次的动作规划，缺乏对人类行为内在的分层结构和目标驱动特性的有效建模。这导致生成的运动缺乏长期连贯性和行为目的性，难以模拟真实世界中复杂的人类行为。

核心思路：论文的核心思路是将大型语言模型（LLM）引入到人体运动生成中，利用LLM强大的语义理解和规划能力，生成分层的行为计划。这些计划作为高层次的指导信号，驱动人体运动的生成，从而保证运动的连贯性和目的性。同时，通过将运动与行为计划对齐，可以实现对多样化人体运动的控制。

技术框架：GBC框架包含以下主要模块：1) LLM行为计划生成器：利用LLM生成分层的行为计划，包括目标、语义计划和运动计划。2) 运动生成器：根据行为计划生成人体运动序列。3) 对齐模块：将运动与行为计划对齐，确保运动符合计划的语义和目标。整体流程是，首先由LLM生成行为计划，然后运动生成器根据计划生成运动，最后对齐模块对运动进行调整，使其与计划保持一致。

关键创新：论文的关键创新在于将LLM引入到人体运动生成中，并提出了一个统一的框架GBC，将运动生成与行为计划相结合。与现有方法相比，GBC能够生成更具多样性和目的性的高质量人体运动，并且时间跨度更长。此外，GBC-100K数据集的提出也为行为驱动的人体运动生成研究提供了新的基准。

关键设计：GBC框架的具体实现细节未知，论文中可能涉及的关键设计包括：1) LLM的选择和微调策略，以生成高质量的行为计划。2) 运动生成器的网络结构和训练方法，以生成逼真的人体运动。3) 对齐模块的损失函数设计，以确保运动与行为计划的一致性。4) GBC-100K数据集的标注规范和数据增强方法。

📊 实验亮点

实验结果表明，GBC框架在GBC-100K数据集上训练后，能够生成比现有方法更具多样性和目的性的高质量人体运动，并且时间跨度延长了10倍。这表明GBC框架能够有效地建模人类行为的分层结构和目标驱动特性，为未来人体运动行为建模的研究奠定了基础。具体的性能指标和对比基线未知。

🎯 应用场景

该研究成果可应用于虚拟现实、游戏开发、机器人控制等领域。例如，可以利用GBC框架生成更逼真、更智能的虚拟角色，提升用户体验。在机器人控制方面，GBC可以帮助机器人理解人类意图，并生成相应的动作，从而实现更自然的人机交互。未来，该技术有望应用于智能家居、自动驾驶等领域，提升人工智能系统的智能化水平。

📄 摘要（原文）

Human motion generative modeling or synthesis aims to characterize complicated human motions of daily activities in diverse real-world environments. However, current research predominantly focuses on either low-level, short-period motions or high-level action planning, without taking into account the hierarchical goal-oriented nature of human activities. In this work, we take a step forward from human motion generation to human behavior modeling, which is inspired by cognitive science. We present a unified framework, dubbed Generative Behavior Control (GBC), to model diverse human motions driven by various high-level intentions by aligning motions with hierarchical behavior plans generated by large language models (LLMs). Our insight is that human motions can be jointly controlled by task and motion planning in robotics, but guided by LLMs to achieve improved motion diversity and physical fidelity. Meanwhile, to overcome the limitations of existing benchmarks, i.e., lack of behavioral plans, we propose GBC-100K dataset annotated with a hierarchical granularity of semantic and motion plans driven by target goals. Our experiments demonstrate that GBC can generate more diverse and purposeful high-quality human motions with 10* longer horizons compared with existing methods when trained on GBC-100K, laying a foundation for future research on behavioral modeling of human motions. Our dataset and source code will be made publicly available.