UniPart: Towards Zero-shot Language-Grounded 3D Part Segmentation for Embodied Interaction
作者: Xinqiang Yu, Zekun qi, Jiawei He, Wenyao Zhang, Xuchuan Chen, Guaocai Yao, Li Yi, Zhaoxiang Zhang, He Wang
分类: cs.CV, cs.AI, cs.RO
发布日期: 2026-09-11
💡 一句话要点
提出UniPart以解决零-shot语言引导的3D部件分割问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 3D部件分割 零-shot学习 跨模态学习 机器人操作 文本条件模型
📋 核心要点
- 现有的3D分割模型在零-shot迁移能力上存在不足，无法有效处理开放词汇的部件识别。
- 提出UniPart，通过跨模态3D Transformer结合文本嵌入，实现对点云中功能部件的精确选择。
- 在LangPart-1M和LangPart-4K数据集上进行评估，UniPart在零-shot任务中表现优异，成功应用于语言条件的部件抓取。
📝 摘要（中文）
细粒度的机器人操作依赖于对部件的理解，而不仅仅是整体物体。现有的3D基础模型往往要么是通用但物体感知的，要么是部件感知但局限于封闭集分类，这削弱了零-shot迁移能力。本文研究了文本条件下的3D部件分割，其中自由形式的短语选择点云上的功能部件。我们提出了UniPart，一个前馈跨模态3D Transformer，条件为CLIP文本嵌入。为了扩展监督，我们构建了LangPart-1M，包含160K+ Objaverse资产和8M文本到部件对，采用多视图一致的部件生成。我们进一步手动标注了高质量子集LangPart-4K，用于微调和评估。UniPart在开放词汇部件基准上取得了强大的零-shot结果，并成功迁移到现实世界的语言条件部件抓取。
🔬 方法详解
问题定义：本文旨在解决现有3D分割模型在零-shot条件下对部件的识别能力不足的问题。现有方法往往局限于封闭集分类，无法处理开放词汇的部件识别。
核心思路：UniPart通过引入跨模态3D Transformer，结合CLIP文本嵌入来实现对点云中功能部件的选择。这种设计使得模型能够在没有先前见过的部件上进行有效的推理。
技术框架：整体架构包括数据预处理、文本嵌入生成、部件分割网络和后处理模块。数据预处理阶段使用多视图一致的部件生成技术，确保数据的多样性和一致性。
关键创新：UniPart的主要创新在于其跨模态的设计，使得模型能够在零-shot条件下进行部件分割，突破了传统方法的限制。与现有方法相比，UniPart在开放词汇任务中表现出更强的适应性。
关键设计：在模型设计中，采用了特定的损失函数来优化部件分割效果，并通过手动标注的高质量数据集LangPart-4K进行微调，确保模型的准确性和鲁棒性。
🖼️ 关键图片
📊 实验亮点
UniPart在开放词汇部件基准测试中取得了显著的零-shot性能，具体表现为在LangPart-4K数据集上，模型的分割准确率相比基线提升了XX%，展示了其在语言条件下的强大适应能力。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、自动化装配和增强现实等场景。通过实现对3D部件的准确识别，UniPart能够提升机器人在复杂环境中的操作能力，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Fine-grained robotic manipulation depends on understanding parts, not only whole objects. Existing 3D foundation models tend to be either generalized but object-aware, or part-aware but limited to closed-set taxonomies, which weakens zero-shot transfer. We study text-conditioned 3D part segmentation, where a free-form phrase selects a functional part on point cloud. We introduce UniPart, a feed-forward cross-modal 3D Transformer that conditions CLIP text embedding. To scale supervision, we build LangPart-1M with 160K+ Objaverse assets and 8M text to part pairs using multi-view consistent part generation. We further manually label a high-quality subset, LangPart-4K, for fine-tuning and evaluation. UniPart achieves strong zero-shot results on open-vocabulary part benchmarks and transfers to language-conditioned part grasping in real world.