UniMate: One Unified Model to Animate Diverse Skeletons

📄 arXiv: 2609.05415v1 📥 PDF

作者: Linzhan Mou, Jiahui Lei, Zhiyang Dou, Chenyue Cai, Chaoyue Song, Adam Finkelstein, Szymon Rusinkiewicz

分类: cs.CV, cs.GR, cs.LG

发布日期: 2026-09-04

备注: SIGGRAPH Asia 2026. Project page: https://linzhanmou.com/unimate/

💡 一句话要点

提出UniMate以解决多样化骨骼动画生成问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 骨骼动画 深度学习 拓扑感知 扩散变换器 运动生成 3D建模 虚拟现实

📋 核心要点

  1. 现有的动画生成方法在生成多样化骨骼动画时面临拓扑限制，无法灵活适应不同类型的骨骼结构。
  2. UniMate通过引入拓扑感知的扩散变换器，能够从绑定的3D资产和文本提示中生成任意骨骼的运动，避免了传统方法的局限。
  3. 在包含13,006个运动序列的UniML3D数据集上，UniMate在生成质量和效率上显著优于现有基线，支持多种动画生成任务。

📝 摘要（中文）

随着自动绑定技术的进步，生成动画准备好的3D资产已变得普遍，但驱动这些资产的运动生成仍然是一个瓶颈。现有的学习型动画生成器受到拓扑结构的限制，依赖于特定类别的模板或在推理时需要针对每个骨骼的微调和参考动作。本文提出了UniMate，一个统一的基础模型，能够从绑定的3D资产和文本提示中合成任意骨骼的关节运动，无需测试时优化或针对每个骨骼的再训练。UniMate引入了一种拓扑感知的扩散变换器，通过三种机制将骨骼拓扑集成到注意力机制中。经过在包含多种运动序列的数据集UniML3D上训练，UniMate在质量、泛化能力和效率上超越了现有的最先进基线，并支持零-shot跨拓扑转移、插值、扩展和文本引导编辑。

🔬 方法详解

问题定义：论文要解决的具体问题是如何生成多样化骨骼的动画，而现有方法通常依赖于特定的拓扑结构，限制了其灵活性和适用性。

核心思路：UniMate的核心思路是构建一个统一的模型，通过拓扑感知的扩散变换器，能够从任意骨骼结构生成运动，避免了对每个骨骼的单独训练和优化。

技术框架：该模型的整体架构包括三个主要模块：图感知的注意力偏置、谱旋转位置嵌入和全局拓扑条件注意力，这些模块共同作用于生成运动。

关键创新：UniMate的关键创新在于其拓扑感知的设计，通过引入图结构信息，显著提高了模型对不同骨骼结构的适应能力，与现有方法相比具有更高的灵活性。

关键设计：在技术细节上，UniMate使用了图拉普拉斯进行谱旋转位置嵌入，并通过注意力机制整合了骨骼的休息姿态信息，确保生成的运动自然且符合物理规律。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，UniMate在生成质量、泛化能力和效率上超越了现有的最先进基线，具体表现为在多个任务上实现了显著的性能提升，支持零-shot跨拓扑转移和文本引导编辑，展示了其强大的应用潜力。

🎯 应用场景

UniMate的研究成果在游戏开发、动画制作和虚拟现实等领域具有广泛的应用潜力。通过提供高效的动画生成工具，能够大幅度降低动画制作的时间和成本，同时提升动画质量，推动相关行业的发展。

📄 摘要（原文）

Recent advances in automatic rigging now deliver animation-ready 3D assets at scale, yet generating the motion to drive them remains a bottleneck. Existing learned animators are topology-constrained: they rely on category-specific templates or require per-skeleton fine-tuning and reference motions at inference. We present UniMate, a unified foundation model that synthesizes articulated motion for arbitrary skeletons from a rigged 3D asset and a text prompt, with no test-time optimization or per-skeleton retraining. UniMate introduces a topology-aware diffusion transformer, which integrates skeletal topology into attention via three mechanisms: (1) a graph-aware attention bias from pairwise joint relations and geodesic distances; (2) a spectral rotary position embedding generalizing RoPE to arbitrary kinematic trees via the graph Laplacian; and (3) a global topological conditioner attention-pooled from the rest-pose skeleton. We also curate UniML3D, 13,006 motion sequences spanning bipedal, quadrupedal, avian, marine, insectoid, serpentine, and articulated rigid objects with unified canonicalization and text pairing. Trained on this dataset, UniMate outperforms state-of-the-art baselines in quality, generalization, and efficiency, and supports zero-shot cross-topology transfer, in-betweening, expansion, and text-guided editing. Our project page is available at https://linzhanmou.com/unimate/.