SkelGen4D: Weakly-Supervised Skeleton-Based 4D Generation for Text-Driven Mesh Animation

📄 arXiv: 2607.08246v1 📥 PDF

作者: Hao Feng, Zhi Zuo, Jia-Hui Pan, Ka-Hei Hui, Zhengzhe Liu, Dian Zhang, Haoran Xie, Bin Sheng, Jingyu Hu

分类: cs.CV

发布日期: 2026-07-09

💡 一句话要点

提出SkelGen4D以解决文本驱动的4D网格动画生成问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 4D生成 骨架动画 弱监督学习 文本驱动 网格动画 运动编辑 物理合理性

📋 核心要点

  1. 现有的动画生成方法在时间一致性和控制方面存在不足，难以实现高质量的文本驱动动画。
  2. 论文提出SkelGen4D框架，通过弱监督学习生成骨架运动，避免了逐帧注释的需求，提升了生成效率。
  3. 实验结果表明，SkelGen4D在多个基准数据集上表现优异，超越了完全监督的基线，支持灵活的运动编辑。

📝 摘要（中文）

本研究探讨了4D生成技术，以合成时间一致的3D几何序列用于动画和内容创作。与现有的基于SDS的优化方法和视频驱动的动画方法不同，我们采用了一种与标准工业流程对齐的骨架驱动动画框架，从而实现了显式控制和编辑。为此，我们提出了SkelGen4D，这是一种弱监督的前馈框架，用于文本驱动的网格动画，能够生成显式的骨架运动而无需逐帧骨架注释。SkelGen4D首先通过可微拟合从动画网格中恢复时间一致的伪骨架，然后以前馈方式生成文本条件的骨架运动序列，并通过Motion-GRPO进一步优化，以确保时间一致、物理合理和关节灵活的动画。我们在两个大规模基准数据集Truebones Zoo和Diffusion4D上评估了我们的方法，结果表明我们的弱监督骨架建模与完全监督的基线相匹配或超越，同时能够扩展到多样的物体类别，实现高质量的文本驱动网格动画。

🔬 方法详解

问题定义：本论文旨在解决文本驱动的4D网格动画生成问题，现有方法在时间一致性和控制能力上存在不足，难以满足工业需求。

核心思路：我们提出SkelGen4D框架，通过弱监督学习生成骨架运动，利用可微拟合技术从动画网格中恢复伪骨架，避免了逐帧注释的复杂性。

技术框架：SkelGen4D的整体架构包括两个主要阶段：首先是伪骨架的恢复，其次是文本条件的骨架运动序列生成，最后通过Motion-GRPO进行优化，确保生成动画的物理合理性和时间一致性。

关键创新：本研究的最大创新在于提出了一种弱监督的骨架建模方法，能够在不依赖逐帧注释的情况下，实现高质量的动画生成，这与传统的完全监督方法形成鲜明对比。

关键设计：在技术细节上，我们设计了特定的损失函数以优化骨架的时间一致性，并采用了前馈网络结构来提高生成效率，同时确保生成的运动序列符合物理规律。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SkelGen4D在Truebones Zoo和Diffusion4D数据集上表现优异，其弱监督骨架建模方法在多个任务中与完全监督基线相匹配或超越，展示了较高的生成质量和时间一致性，支持灵活的运动编辑。

🎯 应用场景

该研究的潜在应用领域包括动画制作、游戏开发和虚拟现实等，能够为内容创作者提供高效的工具，简化动画生成流程，提升创作效率。未来，该技术可能推动更多基于文本的创作工具的发展，使得非专业用户也能轻松制作动画内容。

📄 摘要（原文）

We study 4D generation to synthesize temporally coherent sequences of 3D geometry for animation and content creation. In contrast to existing SDS-based optimization methods and video-driven animation approaches, we adopt a skeleton-driven animation framework aligned with standard industrial pipelines, which enables explicit control and editing. To this end, we propose SkelGen4D, a weakly supervised feed-forward framework for text-driven mesh animation that generates explicit skeleton motions without requiring per-frame skeleton annotations. SkelGen4D first recovers temporally consistent pseudo-skeletons from animated meshes via differentiable fitting, and then generates text-conditioned skeleton motion sequences in a feed-forward manner, further refined with Motion-GRPO to ensure temporally coherent, physically plausible, and articulated animation. We evaluate our method on two large-scale benchmarks, Truebones Zoo and Diffusion4D. Our results show that our weakly supervised skeleton modeling matches or surpasses fully supervised baselines while scaling to diverse object categories for high-quality text-driven mesh animation. Further, our method supports flexible motion editing and is aligned with standard animation production pipelines.