Sculpt4D: Generating 4D Shapes via Sparse-Attention Diffusion Transformers
作者: Minghao Yin, Wenbo Hu, Jiale Xu, Ying Shan, Kai Han
分类: cs.CV
发布日期: 2026-04-23
💡 一句话要点
Sculpt4D：通过稀疏注意力扩散Transformer生成高质量4D动态形状
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 4D生成 扩散Transformer 稀疏注意力 动态形状 时间建模
📋 核心要点
- 现有4D生成方法难以兼顾时间连贯性和计算效率，生成结果常出现时间伪影，且计算资源需求巨大。
- Sculpt4D的核心思想是将高效的时间建模融入预训练的3D扩散Transformer，并利用稀疏注意力机制。
- Sculpt4D在4D形状生成任务上取得了新的state-of-the-art，并在计算效率上实现了显著提升，降低了56%的计算量。
📝 摘要（中文）
3D生成建模领域取得了显著进展，但在高保真动态4D生成方面仍然面临挑战，主要受限于时间伪影和高昂的计算成本。本文提出了Sculpt4D，一个原生的4D生成框架，它将高效的时间建模无缝集成到预训练的3D扩散Transformer (Hunyuan3D 2.1) 中，从而缓解了4D训练数据稀缺的问题。其核心是块稀疏注意力机制，该机制通过锚定到初始帧来保持对象身份，同时通过时间衰减的稀疏掩码捕获丰富的运动动态。这种设计以高保真度忠实地建模了复杂的时空依赖关系，同时避免了完全注意力的二次开销，并将网络总计算量减少了56%。因此，Sculpt4D在时间连贯的4D合成方面建立了新的技术水平，并开辟了一条通往高效和可扩展的4D生成之路。
🔬 方法详解
问题定义：论文旨在解决4D动态形状生成问题，即如何生成具有时间连贯性和高保真度的动态3D模型序列。现有方法通常面临两个主要痛点：一是时间伪影问题，即生成的模型在时间维度上不连贯，出现突变或抖动；二是计算成本高昂，因为需要处理大量的时空数据，导致训练和推理效率低下。
核心思路：Sculpt4D的核心思路是利用预训练的3D扩散Transformer作为基础，并引入高效的时间建模机制。通过将时间信息融入到3D模型中，并利用稀疏注意力机制来减少计算量，从而实现高质量和高效率的4D生成。这种方法避免了从头开始训练4D模型的需要，并能够充分利用现有的3D模型知识。
技术框架：Sculpt4D的整体框架包括以下几个主要模块：1) 预训练的3D扩散Transformer (Hunyuan3D 2.1)：作为基础的3D生成模型，负责生成静态的3D形状。2) 时间建模模块：将时间信息融入到3D模型中，例如通过添加时间编码或时间相关的特征。3) 块稀疏注意力机制：用于建模时空依赖关系，并减少计算量。该机制通过锚定到初始帧来保持对象身份，并使用时间衰减的稀疏掩码来捕获运动动态。4) 扩散过程：通过逐步添加噪声，然后逐步去噪的方式生成4D形状。
关键创新：Sculpt4D的关键创新在于块稀疏注意力机制，它与传统的完全注意力机制不同，只关注部分相关的时空区域，从而大大减少了计算量。此外，Sculpt4D还通过锚定到初始帧来保持对象身份，并使用时间衰减的稀疏掩码来捕获运动动态，从而提高了生成结果的时间连贯性。与现有方法相比，Sculpt4D能够在保证生成质量的同时，显著降低计算成本。
关键设计：Sculpt4D的关键设计包括：1) 时间衰减的稀疏掩码：该掩码根据时间距离来调整注意力权重，使得模型更加关注相邻帧之间的关系。2) 块稀疏注意力：将时空区域划分为多个块，并在块内进行注意力计算，从而减少计算量。3) 损失函数：使用了多种损失函数来优化模型，包括重建损失、对抗损失和时间一致性损失。
🖼️ 关键图片
📊 实验亮点
Sculpt4D在4D形状生成任务上取得了显著的性能提升。实验结果表明，Sculpt4D在时间连贯性和生成质量方面均优于现有方法。此外，Sculpt4D还将网络总计算量减少了56%，从而实现了更高的效率。这些结果表明，Sculpt4D是一种有效的4D生成框架，具有很强的实用价值。
🎯 应用场景
Sculpt4D具有广泛的应用前景，包括动画制作、游戏开发、虚拟现实、机器人仿真等领域。它可以用于生成各种动态3D模型，例如人物动画、物体运动、场景变化等。此外，Sculpt4D还可以用于数据增强，通过生成更多的训练数据来提高其他机器学习模型的性能。未来，Sculpt4D有望成为一种通用的4D生成工具，为各个领域带来创新和价值。
📄 摘要（原文）
Recent breakthroughs in 3D generative modeling have yielded remarkable progress in static shape synthesis, yet high-fidelity dynamic 4D generation remains elusive, hindered by temporal artifacts and prohibitive computational demand. We present Sculpt4D, a native 4D generative framework that seamlessly integrates efficient temporal modeling into a pretrained 3D Diffusion Transformer (Hunyuan3D 2.1), thereby mitigating the scarcity of 4D training data. At its core lies a Block Sparse Attention mechanism that preserves object identity by anchoring to the initial frame while capturing rich motion dynamics via a time-decaying sparse mask. This design faithfully models complex spatiotemporal dependencies with high fidelity, while sidestepping the quadratic overhead of full attention and reducing network total computation by 56%. Consequently, Sculpt4D establishes a new state-of-the-art in temporally coherent 4D synthesis and charts a path toward efficient and scalable 4D generation.