BANG: Dividing 3D Assets via Generative Exploded Dynamics

📄 arXiv: 2507.21493v1 📥 PDF

作者: Longwen Zhang, Qixuan Zhang, Haoran Jiang, Yinuo Bai, Wei Yang, Lan Xu, Jingyi Yu

分类: cs.GR

发布日期: 2025-07-29

备注: Homepage: https://sites.google.com/view/bang7355608

DOI: 10.1145/3730840

💡 一句话要点

BANG：通过生成式爆炸动力学实现3D资产的部件级分解与重组

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D对象分解 生成式模型 爆炸动力学 扩散模型 部件级建模

📋 核心要点

  1. 现有3D设计工具难以复现人类自然地分解和重组对象的能力，需要大量的艺术专业知识和手动劳动。
  2. BANG提出“生成式爆炸动力学”，通过生成平滑的爆炸状态序列，逐步分离部件并保持几何和语义连贯性。
  3. BANG通过预训练的扩散模型和空间提示等方式，实现了对3D对象部件级分解的精确控制和灵活操作。

📝 摘要（中文）

本文提出了一种名为BANG的生成式方法，旨在弥合3D生成与推理之间的差距，实现对3D对象进行直观且灵活的部件级分解。BANG的核心是“生成式爆炸动力学”，它为输入几何体创建平滑的爆炸状态序列，逐步分离部件，同时保持其几何和语义连贯性。BANG利用预训练的大规模潜在扩散模型，并使用轻量级的爆炸视图适配器进行微调，从而精确控制分解过程。它还结合了时间注意力模块，以确保平滑过渡和时间一致性。BANG通过空间提示（如边界框和表面区域）增强了控制能力，使用户能够指定要分解的部件及其分解方式。这种交互可以扩展到多模态模型（如GPT-4），从而实现2D到3D的操作，以获得更直观和创造性的工作流程。BANG的能力扩展到生成详细的部件级几何体，将部件与功能描述相关联，并促进组件感知的3D创建和制造工作流程。此外，BANG还提供3D打印应用，生成可分离的部件，便于打印和重新组装。BANG实现了从想象概念到详细3D资产的无缝转换，为创作提供了与人类直觉产生共鸣的新视角。

🔬 方法详解

问题定义：论文旨在解决3D对象部件级分解的问题。现有方法通常需要大量人工干预和专业知识，难以实现直观、灵活且可控的分解过程。这些方法在保持部件几何和语义连贯性方面也存在挑战。

核心思路：论文的核心思路是利用生成式模型学习3D对象的爆炸动力学，从而自动生成部件级的分解序列。通过控制生成过程，可以实现对分解结果的精确控制，并保持部件的几何和语义一致性。这种方法模仿了人类分解和重组物体的直觉过程。

技术框架：BANG的技术框架主要包括以下几个模块：1) 预训练的大规模潜在扩散模型，作为生成模型的基础；2) 轻量级的爆炸视图适配器，用于微调扩散模型，使其适应爆炸动力学的生成；3) 时间注意力模块，用于确保生成序列的时间一致性和平滑过渡；4) 空间提示模块，允许用户通过边界框和表面区域等方式指定分解的部件和方式。整体流程是：输入3D对象，通过空间提示进行引导，利用微调后的扩散模型生成爆炸状态序列，最终得到部件级的分解结果。

关键创新：最重要的技术创新点在于“生成式爆炸动力学”的概念，即将3D对象的分解过程建模为一个动态生成的过程，并利用生成模型学习这种动态过程。与传统的基于规则或优化的分解方法相比，该方法能够生成更自然、更符合人类直觉的分解结果。此外，利用预训练的扩散模型和轻量级适配器，可以有效地利用大规模数据，提高生成质量和效率。

关键设计：BANG的关键设计包括：1) 爆炸视图适配器的结构和训练方式，使其能够有效地将爆炸动力学信息融入到扩散模型中；2) 时间注意力模块的设计，确保生成序列的时间一致性和平滑性；3) 空间提示的表示方式和融合方法，使其能够有效地引导分解过程；4) 损失函数的设计，用于优化生成模型的参数，包括几何一致性损失、语义一致性损失等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了BANG在3D对象分解方面的有效性。实验结果表明，BANG能够生成高质量的部件级分解结果，并且能够有效地控制分解过程。与现有的分解方法相比，BANG在部件的几何一致性、语义一致性和时间一致性方面均有显著提升。此外，实验还展示了BANG在3D打印和2D-to-3D操作等方面的应用。

🎯 应用场景

BANG在3D内容创作、3D打印、计算机辅助设计和制造等领域具有广泛的应用前景。它可以帮助设计师快速生成部件级的3D模型，简化设计流程，提高设计效率。在3D打印领域，BANG可以生成易于打印和组装的可分离部件。此外，BANG还可以应用于机器人操作、场景理解等领域，为这些领域提供更精细的3D模型表示。

📄 摘要（原文）

3D creation has always been a unique human strength, driven by our ability to deconstruct and reassemble objects using our eyes, mind and hand. However, current 3D design tools struggle to replicate this natural process, requiring considerable artistic expertise and manual labor. This paper introduces BANG, a novel generative approach that bridges 3D generation and reasoning, allowing for intuitive and flexible part-level decomposition of 3D objects. At the heart of BANG is "Generative Exploded Dynamics", which creates a smooth sequence of exploded states for an input geometry, progressively separating parts while preserving their geometric and semantic coherence. BANG utilizes a pre-trained large-scale latent diffusion model, fine-tuned for exploded dynamics with a lightweight exploded view adapter, allowing precise control over the decomposition process. It also incorporates a temporal attention module to ensure smooth transitions and consistency across time. BANG enhances control with spatial prompts, such as bounding boxes and surface regions, enabling users to specify which parts to decompose and how. This interaction can be extended with multimodal models like GPT-4, enabling 2D-to-3D manipulations for more intuitive and creative workflows. The capabilities of BANG extend to generating detailed part-level geometry, associating parts with functional descriptions, and facilitating component-aware 3D creation and manufacturing workflows. Additionally, BANG offers applications in 3D printing, where separable parts are generated for easy printing and reassembly. In essence, BANG enables seamless transformation from imaginative concepts to detailed 3D assets, offering a new perspective on creation that resonates with human intuition.