Timo: $\textbf{T}$aming Mult$\textbf{i}$modal Diffusion Transformer for Human $\textbf{Mo}$tion Generation
作者: Zhao Wang, Jiangtao Hu, Jack Yu, Tao Yu
分类: cs.CV
发布日期: 2026-09-25
💡 一句话要点
提出Timo框架以解决人类动作生成中的多模态建模问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人类动作生成 多模态学习 扩散变换器 运动学感知 双向建模 流匹配 课程学习 生成模型
📋 核心要点
- 现有HMG方法主要依赖交叉注意力模块，未能有效实现动作与文本之间的双向建模，导致文本理解受限。
- 本文提出Timo框架，通过引入运动学感知的多模态扩散变换器，结合双向建模和流匹配技术，提升动作生成质量。
- Timo在六个维度的评估中表现优异，特别是在与Kimodo的比较中，平均基准分数提高了40.8%，显示出显著的性能提升。
📝 摘要（中文）
大多数现有人类动作生成（HMG）方法使用交叉注意力模块注入文本语义，但忽视了动作与文本标记之间双向建模的重要性，限制了文本理解。为此，本文引入了一种多模态扩散变换器（MMDiT），并提出了Timo，一个针对HMG的运动学感知MMDiT框架。Timo结合了完全共享的多模态注意力进行双向文本-动作建模，以及流匹配、几何和旋转运动学监督，比较实际旋转及其随时间的变化。此外，我们构建了一个包含40,025个剪辑的基准，评估六个互补维度。实验结果表明，Timo在定量和定性评估中显著超越了现有最先进的方法，特别是在六个维度中有五个超过Kimodo，平均基准分数提高了40.8%。
🔬 方法详解
问题定义：本文旨在解决现有HMG方法中动作与文本之间双向建模不足的问题，导致生成的动作缺乏协调性和流畅性。
核心思路：Timo框架通过引入运动学感知的多模态扩散变换器，结合双向文本-动作建模和流匹配，旨在提升生成动作的质量和自然度。
技术框架：Timo的整体架构包括多个模块：首先是共享的多模态注意力模块用于双向建模，其次是流匹配模块，最后是运动学监督模块，确保生成动作的时间一致性和关节协调性。
关键创新：Timo的主要创新在于引入了运动学感知的多模态扩散变换器，强调了动作生成中的时间一致性和关节间的弱相关性，显著改善了生成效果。
关键设计：在设计中，Timo采用了流匹配和几何、旋转运动学监督，比较实际旋转及其变化，确保生成动作的自然流畅。此外，采用了两阶段的课程学习策略，从广泛的动作学习逐步细化到详细的文本对齐。
🖼️ 关键图片
📊 实验亮点
Timo在实验中表现出色，特别是在与Kimodo的比较中，平均基准分数提高了40.8%。在六个评估维度中，Timo在五个维度上超越了现有最先进的方法，显示出其在生成质量和协调性上的显著提升。
🎯 应用场景
Timo框架在虚拟现实、游戏动画、电影制作等领域具有广泛的应用潜力。通过生成更加自然和协调的人类动作，能够提升用户体验和视觉效果。此外，该研究为多模态学习和生成模型的发展提供了新的思路和方法，具有重要的学术价值和实际意义。
📄 摘要（原文）
Most existing human motion generation (HMG) methods use cross-attention modules to inject text semantics, but ignore the importance of bidirectional modeling between motion and text tokens, which limits text comprehension. A straightforward idea is introducing multimodal diffusion transformers (MMDiT), which have shown effective joint text--visual modeling in vision generation, into HMG. However, we find that articulated motion is temporally coherent but weakly correlated across joints, in which directly applying an MMDiT with flow matching produces poorly coordinated and jerky motion. In this work, we propose Timo, a novel kinematics-aware MMDiT framework tailored for HMG. Timo combines fully shared multimodal attention for bidirectional text--motion modeling with flow matching, geometric and rotational-kinematics supervision that compares actual rotations and their changes over time, and a two-stage curriculum progressing from broad motion learning to detailed caption alignment. Further, we construct a benchmark of $40{,}025$ held-out clips from six public datasets spanning diverse actions, assessing six complementary dimensions under a common evaluator and scoring protocol. Our model substantially outperforms state-of-the-art methods in both quantitative and qualitative evaluations. Remarkably, Timo surpasses Kimodo on five of six dimensions, achieving a $40.8$% relative improvement in the average benchmark score. Project page: https://kyfafyd.wang/projects/timo. Demo page: https://timo.kyfafyd.wang.