Segment Any Mesh
作者: George Tang, William Zhao, Logan Ford, David Benhaim, Paul Zhang
分类: cs.CV
发布日期: 2024-08-24 (更新: 2025-03-09)
🔗 代码/项目: GITHUB
💡 一句话要点
提出Segment Any Mesh，一种零样本网格部件分割方法，提升了通用性和性能。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 网格分割 零样本学习 三维重建 多模态渲染 Segment Anything 计算机视觉 几何建模
📋 核心要点
- 现有网格部件分割方法在泛化性和对新形状的适应性方面存在局限性，需要更通用的解决方案。
- Segment Any Mesh利用Segment Anything的强大2D分割能力，通过多视角渲染和2D-3D提升实现网格部件的零样本分割。
- 实验表明，该方法在性能上可与Shape Diameter Function媲美甚至超越，并在新数据集上展示了更好的泛化能力。
📝 摘要（中文）
本文提出了一种新颖的零样本网格部件分割方法Segment Any Mesh，它克服了基于形状分析、基于学习和现有方法的局限性。该方法分两个阶段进行：多模态渲染和2D到3D的提升。在第一阶段，网格的多视角渲染图分别通过Segment Anything进行处理，以生成2D掩码。然后，通过关联跨多视角渲染图中指向同一网格部件的掩码，将这些掩码提升为网格部件分割。我们发现，将Segment Anything应用于法线和形状直径标量的多模态特征渲染图，比仅使用网格的无纹理渲染图能获得更好的结果。通过在Segment Anything之上构建我们的方法，我们无缝地继承了2D分割的任何未来改进。我们将我们的方法与一种稳健且经过充分评估的形状分析方法Shape Diameter Function进行了比较，结果表明我们的方法与它的性能相当或超过了它的性能。由于当前的基准测试包含的对象多样性有限，我们还整理并发布了一个生成的网格数据集，并使用它通过人工评估来证明我们的方法相对于Shape Diameter Function的改进的泛化能力。我们在https://github.com/gtangg12/samesh发布了代码和数据集。
🔬 方法详解
问题定义：现有的网格部件分割方法，如基于形状分析的方法（例如Shape Diameter Function）依赖于手工设计的特征，泛化能力有限。基于学习的方法需要大量的标注数据进行训练，难以适应新的形状。因此，需要一种能够零样本分割网格部件，并且具有良好泛化能力的方法。
核心思路：论文的核心思路是利用预训练的2D分割模型Segment Anything的强大能力，将其应用于网格的多视角渲染图，然后将分割结果从2D提升到3D。通过这种方式，可以避免手工设计特征和大量标注数据，实现零样本分割。同时，利用多模态渲染（例如法线和形状直径标量）可以提供更丰富的信息，提高分割的准确性。
技术框架：Segment Any Mesh的整体框架包括两个主要阶段：多模态渲染和2D到3D的提升。首先，对3D网格进行多视角渲染，生成包含不同特征（例如颜色、法线、形状直径标量）的2D图像。然后，将这些2D图像输入到Segment Anything模型中，生成2D掩码。最后，通过关联跨多视角渲染图中指向同一网格部件的掩码，将这些2D掩码提升为3D网格部件分割。
关键创新：该方法最重要的创新点在于利用了预训练的2D分割模型Segment Anything进行3D网格部件的零样本分割。与传统方法相比，该方法不需要手工设计特征或大量标注数据，具有更好的泛化能力。此外，使用多模态渲染可以提供更丰富的信息，提高分割的准确性。
关键设计：在多模态渲染阶段，论文使用了法线和形状直径标量作为额外的特征，以提高分割的准确性。在2D到3D的提升阶段，论文需要解决如何将不同视角的2D掩码关联到同一个3D网格部件的问题。具体的关联方法在论文中没有详细描述，属于未知的技术细节。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Segment Any Mesh在网格部件分割任务上取得了与Shape Diameter Function相当或更好的性能。更重要的是，通过在一个新的、更多样化的数据集上进行人工评估，证明了该方法比Shape Diameter Function具有更好的泛化能力。具体性能提升的数值在论文中没有明确给出。
🎯 应用场景
该研究成果可应用于三维建模、计算机辅助设计、机器人抓取、虚拟现实等领域。例如，在机器人抓取中，可以利用该方法分割出物体的不同部件，从而实现更精确的抓取。在虚拟现实中，可以利用该方法分割出场景中的不同物体，从而实现更逼真的交互。
📄 摘要（原文）
We propose Segment Any Mesh, a novel zero-shot mesh part segmentation method that overcomes the limitations of shape analysis-based, learning-based, and contemporary approaches. Our approach operates in two phases: multimodal rendering and 2D-to-3D lifting. In the first phase, multiview renders of the mesh are individually processed through Segment Anything to generate 2D masks. These masks are then lifted into a mesh part segmentation by associating masks that refer to the same mesh part across the multiview renders. We find that applying Segment Anything to multimodal feature renders of normals and shape diameter scalars achieves better results than using only untextured renders of meshes. By building our method on top of Segment Anything, we seamlessly inherit any future improvements made to 2D segmentation. We compare our method with a robust, well-evaluated shape analysis method, Shape Diameter Function, and show that our method is comparable to or exceeds its performance. Since current benchmarks contain limited object diversity, we also curate and release a dataset of generated meshes and use it to demonstrate our method's improved generalization over Shape Diameter Function via human evaluation. We release the code and dataset at https://github.com/gtangg12/samesh