Encoder-Free Human Motion Understanding via Structured Motion Descriptions

📄 arXiv: 2604.21668v1 📥 PDF

作者: Yao Zhang, Zhuchenyang Liu, Thomas Ploetz, Yu Xiao

分类: cs.CV

发布日期: 2026-04-23

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出结构化运动描述(SMD)，无需编码器即可实现人体运动理解。

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人体运动理解 大型语言模型 结构化运动描述 运动问答 运动描述生成

📋 核心要点

  1. 现有基于LLM的人体运动理解方法依赖于编码器学习运动-语言对齐，受限于跨模态表示和对齐。
  2. 论文提出结构化运动描述(SMD)，将关节位置序列转换为结构化自然语言，使LLM能直接利用预训练知识。
  3. 实验表明，SMD在运动问答和运动描述生成任务上超越了现有方法，且具有良好的泛化性和可解释性。

📝 摘要（中文）

本文提出了一种名为结构化运动描述(SMD)的方法，用于解决人体运动理解问题，包括运动问答和运动描述生成。该方法受到生物力学分析的启发，将关节位置序列确定性地转换为结构化的自然语言描述，包括关节角度、身体部位运动和全局轨迹。通过将运动表示为文本，SMD使大型语言模型(LLM)能够直接应用其预训练的身体部位、空间方向和运动语义知识进行运动推理，无需学习编码器或对齐模块。实验表明，该方法在运动问答(BABEL-QA上66.7%，HuMMan-QA上90.1%)和运动描述生成(HumanML3D上R@1为0.584，CIDEr为53.16)任务上均超越了现有技术水平。此外，SMD具有良好的泛化性，相同的文本输入可以应用于不同的LLM，并且其人类可读的表示形式支持对运动描述进行可解释的注意力分析。

🔬 方法详解

问题定义：现有基于大型语言模型（LLM）的人体运动理解方法，如运动问答和运动描述生成，通常需要学习一个编码器将运动特征投影到LLM的嵌入空间中。这种方法受限于跨模态表示和对齐的难度，无法充分利用LLM强大的世界知识和推理能力。现有方法的痛点在于需要额外的学习过程来建立运动和语言之间的联系，而LLM本身已经具备了丰富的关于身体部位、空间方向和运动语义的知识。

核心思路：论文的核心思路是将人体运动转化为结构化的自然语言描述，从而直接利用LLM已有的语言知识进行运动理解。受到生物力学分析的启发，论文提出使用关节角度、身体部位运动和全局轨迹等信息来描述人体运动。通过将运动表示为文本，LLM可以直接应用其预训练的知识进行运动推理，而无需额外的编码器或对齐模块。

技术框架：SMD方法的整体框架包括以下几个步骤：1) 输入关节位置序列；2) 使用规则化的方法将关节位置序列转换为结构化的自然语言描述（SMD）；3) 将SMD输入到LLM中；4) 使用轻量级的LoRA适配器对LLM进行微调，以适应运动理解任务；5) 输出运动问答或运动描述生成的结果。该框架的核心在于SMD模块，它负责将运动数据转换为文本描述。

关键创新：最重要的技术创新点在于提出了结构化运动描述（SMD）的概念，并设计了一种规则化的方法将运动数据转换为文本描述。与现有方法相比，SMD无需学习编码器或对齐模块，而是直接利用LLM已有的语言知识进行运动理解。这种方法的本质区别在于将运动理解问题转化为一个纯粹的语言理解问题，从而可以充分利用LLM强大的语言能力。

关键设计：SMD的关键设计在于如何将关节位置序列转换为结构化的自然语言描述。论文使用规则化的方法，根据关节角度、身体部位运动和全局轨迹等信息，生成包含身体部位名称、空间方向和运动语义的文本描述。例如，可以描述为“左臂向上抬起”、“身体向右旋转”等。此外，论文还使用了轻量级的LoRA适配器对LLM进行微调，以适应运动理解任务。LoRA适配器的参数设置和训练策略是影响性能的关键因素。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SMD方法在运动问答和运动描述生成任务上均超越了现有技术水平。在BABEL-QA数据集上，SMD的准确率达到66.7%，在HuMMan-QA数据集上达到90.1%。在HumanML3D数据集上，SMD的R@1指标为0.584，CIDEr指标为53.16。此外，实验还表明，SMD具有良好的泛化性，相同的文本输入可以应用于不同的LLM，并且其人类可读的表示形式支持对运动描述进行可解释的注意力分析。

🎯 应用场景

该研究成果可应用于人机交互、虚拟现实、运动分析、康复训练等领域。通过将人体运动转化为自然语言描述，可以使机器更好地理解人类的意图，从而实现更自然、更智能的人机交互。此外，该方法还可以用于分析运动员的运动姿势，评估康复患者的运动能力，并为他们提供个性化的训练方案。未来，该方法有望应用于更广泛的领域，例如智能家居、自动驾驶等。

📄 摘要（原文）

The world knowledge and reasoning capabilities of text-based large language models (LLMs) are advancing rapidly, yet current approaches to human motion understanding, including motion question answering and captioning, have not fully exploited these capabilities. Existing LLM-based methods typically learn motion-language alignment through dedicated encoders that project motion features into the LLM's embedding space, remaining constrained by cross-modal representation and alignment. Inspired by biomechanical analysis, where joint angles and body-part kinematics have long served as a precise descriptive language for human movement, we propose \textbf{Structured Motion Description (SMD)}, a rule-based, deterministic approach that converts joint position sequences into structured natural language descriptions of joint angles, body part movements, and global trajectory. By representing motion as text, SMD enables LLMs to apply their pretrained knowledge of body parts, spatial directions, and movement semantics directly to motion reasoning, without requiring learned encoders or alignment modules. We show that this approach goes beyond state-of-the-art results on both motion question answering (66.7\% on BABEL-QA, 90.1\% on HuMMan-QA) and motion captioning (R@1 of 0.584, CIDEr of 53.16 on HumanML3D), surpassing all prior methods. SMD additionally offers practical benefits: the same text input works across different LLMs with only lightweight LoRA adaptation (validated on 8 LLMs from 6 model families), and its human-readable representation enables interpretable attention analysis over motion descriptions. Code, data, and pretrained LoRA adapters are available at https://yaozhang182.github.io/motion-smd/.