SAM3D-Part: Interactive Part Selection and Generation from 3D Objects

📄 arXiv: 2609.15639v1 📥 PDF

作者: Jiahao Chang, Dong Du, Wanhu Sun, Yujian Zheng, Chuanyu Pan, Bowen Zhao, Chongjie Ye, Yuanming Hu, Xiaoguang Han

分类: cs.CV

发布日期: 2026-09-14

🔗 代码/项目: GITHUB

💡 一句话要点

提出SAM3D-Part以解决3D对象部分选择与生成问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D生成 部分选择 几何体对齐 深度学习 计算机视觉 生成模型 用户驱动

📋 核心要点

  1. 现有3D生成方法通常会生成所有部件，无法满足用户对特定组件的需求，导致效率低下。
  2. SAM3D-Part通过提示驱动的框架，选择性地生成3D对象的特定部件，提升了生成的灵活性和准确性。
  3. 实验结果显示，SAM3D-Part在源对齐和生成一致性方面显著优于现有方法，达到最先进水平。

📝 摘要（中文）

部分级控制对于现代3D资产创建至关重要，用户在编辑、重用、动画或制造对象时常常只需特定组件。然而，现有的3D生成方法通常会生成所有部件，而不是用户所需的特定部分。为了解决这一问题，本文提出了SAM3D-Part，一个基于提示的框架，能够从输入的3D对象网格中选择性地生成部件。该方法通过编码源几何体并与图像、选择性掩码和点图观察进行对齐，生成所请求的部件，并通过预测稠密的体素对应关系来实现部件的准确放置。实验表明，SAM3D-Part在源对齐、条件成本和一致性选择性部件生成方面显著提升，达到了当前的最先进水平。

🔬 方法详解

问题定义：本文旨在解决现有3D生成方法无法根据用户需求选择性生成特定部件的问题。现有方法往往生成所有部件，导致用户无法高效获取所需组件。

核心思路：SAM3D-Part通过提示驱动的框架，首先编码源几何体，并通过像素级通道融合与图像和选择性掩码对齐，从而生成用户所需的特定部件。

技术框架：该方法包括几个主要模块：首先对源网格进行特征编码，然后通过融合表示条件化生成模型，最后通过预测体素对应关系实现部件的准确放置。

关键创新：SAM3D-Part的主要创新在于其选择性生成机制和上下文约束，能够有效减少生成部件之间的冲突，并提高生成的准确性。

关键设计：在技术细节上，SAM3D-Part采用了稠密体素对应关系预测和分布式空间证据来估计部件变换，而不是依赖单一的全局姿态编码。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SAM3D-Part在源对齐方面的性能提升显著，条件成本降低，并且在选择性部件生成的一致性上达到了最先进水平。具体而言，该方法在多个基准测试中超越了现有技术，展示了其优越性。

🎯 应用场景

SAM3D-Part的研究成果在3D资产创建、游戏开发、动画制作和虚拟现实等领域具有广泛的应用潜力。通过提供灵活的部件选择与生成能力，该框架能够显著提高设计师和开发者的工作效率，推动3D内容创作的创新与发展。

📄 摘要（原文）

Part-level control is essential for modern 3D asset creation, where objects are frequently edited, reused, animated, or fabricated through their individual components. In many such workflows, users need only several specific components rather than a complete object decomposition. However, existing 3D generation methods produce all parts regardless of user intent, while promptable 3D segmentation methods typically output partial surfaces instead of reusable complete meshes. In addition, image-conditioned part generators further struggle to preserve hidden geometry and accurate placement without directly conditioning on the source mesh. To address these problems, we present SAM3D-Part, a prompt-driven framework for selective part generation from input 3D object meshes. Given a source mesh and a part prompt, SAM3D-Part first encodes the source geometry into compact mesh features and aligns them with the rendered image, selective mask, and point-map observations via pixel-wise channel fusion. The fused representation conditions a feed-forward generative model to produce only the queried component as a completed mesh. To place the generated part back into the source coordinate frame, SAM3D-Part predicts dense per-voxel correspondences and estimates the part transformation from distributed spatial evidence rather than a single global pose code. For sequential multi-part queries, previously generated parts are stored in a part cache and reused as contextual constraints, reducing conflicts among independently requested components. Extensive experiments and ablations demonstrate that SAM3D-Part can significantly improve source alignment, reduce conditioning cost, and enable consistent selective part generation, achieving state-of-the-art. Code and weights will be available at https://github.com/Jiahao620/sam3d-part.