A Unified Framework for Image-to-3D Part Generation via Variable Granularity

📄 arXiv: 2610.31671v1 📥 PDF

作者: Qiwen Gu, Xin Zhou, Xiwu Chen, Zhongyang Zhu, Zhuo Zhang, Junqiao Zhao

分类: cs.CV

发布日期: 2026-10-22

备注: Accepted at NeurIPS 2026. Code: https://github.com/Gucci233/FlexPart

🔗 代码/项目: GITHUB

💡 一句话要点

提出FlexPart以解决可控3D部件生成问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 3D部件生成 可控生成 多模态融合 几何一致性 数字资产创建

📋 核心要点

  1. 现有的3D部件生成方法缺乏灵活性，无法适应不同用户的工作流程和控制需求。
  2. FlexPart框架通过门控自适应调制技术，支持多种输入形式，实现可变粒度的几何条件。
  3. 在PartVerseXL数据集上，FlexPart显著提升了生成质量，减少了几何不一致性，提升了整体性能。

📝 摘要（中文）

可控的3D部件生成对于数字资产创建至关重要，但现有方法缺乏灵活性，无法满足不同用户工作流程的需求。本文提出了FlexPart，一个统一的图像到3D部件生成框架，支持在单一模型中实现可变粒度的几何条件。通过门控自适应调制，FlexPart能够无缝整合从稀疏点到密集边界框和掩模的异构输入，释放强大的跨模态协同能力。此外，我们还提出了一种不对称几何引导机制，利用强大的空间先验对齐不同粒度的表示，提高几何一致性并促进任务间的协同。在PartVerseXL数据集上，FlexPart在掩模条件下相较于TripoSG + SAM3D减少了16.6%的Part CD，相较于OmniPart减少了10.5%，同时保持了竞争的整体网格质量。

🔬 方法详解

问题定义：本文旨在解决现有3D部件生成方法在灵活性和用户控制方面的不足，现有方法往往无法适应多样化的输入和工作流程。

核心思路：FlexPart框架的核心思想是通过门控自适应调制技术，整合不同粒度的输入数据，从而实现对3D部件生成的可控性和灵活性。这样的设计使得模型能够处理从稀疏点到密集掩模的多种输入形式。

技术框架：FlexPart的整体架构包括输入模块、门控自适应调制模块和不对称几何引导机制。输入模块负责接收不同粒度的输入，调制模块则根据输入的特性进行动态调整，而几何引导机制则确保生成结果的几何一致性。

关键创新：FlexPart的主要创新在于其统一的框架设计，能够支持多种输入形式并实现可变粒度的生成。这与现有方法的单一输入形式和固定粒度生成的限制形成鲜明对比。

关键设计：在模型设计中，FlexPart采用了门控自适应调制技术以处理异构输入，并引入了不对称几何引导机制以增强空间先验的利用，从而提高生成结果的几何一致性和质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在PartVerseXL数据集上，FlexPart在掩模条件下相较于TripoSG + SAM3D减少了16.6%的Part CD，相较于OmniPart减少了10.5%。这些结果表明，FlexPart在保持整体网格质量的同时，显著提升了几何一致性和生成性能。

🎯 应用场景

FlexPart框架在数字资产创建、游戏开发、虚拟现实等领域具有广泛的应用潜力。其灵活的输入处理能力和高质量的3D部件生成可以显著提升设计师的工作效率，满足多样化的创作需求。未来，该技术有望推动更复杂的3D内容生成和交互体验的发展。

📄 摘要（原文）

Controllable 3D part generation is pivotal for digital asset creation, yet existing methods lack the flexibility to accommodate diverse user workflows requiring varying levels of control. In this paper, we introduce FlexPart, a unified image-to-3D part generation framework that supports variable-granularity geometric conditions within a single model. By seamlessly integrating heterogeneous inputs, ranging from sparse points to dense bounding boxes and masks, via gated adaptive modulation, FlexPart unlocks a powerful cross-modal synergy. We also propose an asymmetric geometric guidance mechanism that leverages strong spatial priors to align representations across granularities, improving geometric consistency and facilitating inter-task synergy. Under mask conditioning on PartVerseXL, FlexPart reduces Part CD by 16.6% relative to TripoSG + SAM3D and by 10.5% relative to OmniPart, while maintaining competitive whole-mesh quality. The code can be found at https://github.com/Gucci233/FlexPart