SenseFuse: Label-Free Fusion of Image and Shape Encoders for Open-Vocabulary 3D Instance Segmentation

📄 arXiv: 2609.20475v1 📥 PDF

作者: Euiseok Han, Tri Ton, Hwanhee Kim, Seungyeon Ryu, Chang D. Yoo

分类: cs.CV, cs.RO

发布日期: 2026-09-17

备注: 8 pages, 6 figures. Code: https://github.com/hanes1207/SenseFuse

🔗 代码/项目: GITHUB

💡 一句话要点

提出SenseFuse以解决开放词汇3D实例分割问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇 3D实例分割 无标签学习 多模态融合 机器人技术

📋 核心要点

  1. 现有的开放词汇3D实例分割方法主要依赖于2D图像特征，缺乏对3D形状信息的有效利用，导致性能受限。
  2. 本文提出的SenseFuse方法通过无标签融合2D图像和3D形状编码器，优化了掩码标记阶段，提升了分割精度。
  3. 在多个数据集上，SenseFuse显著提高了标记准确性，恢复了大部分可实现的增益，并在22个设置中提高了实例AP。

📝 摘要（中文）

开放词汇场景理解是机器人技术的基础，为空间推理和物体操作奠定了基础。尽管闭合词汇的3D实例分割在很大程度上依赖于3D形状信息，但现有的开放词汇方法主要局限于2D图像特征或图像提炼的表示。在本文中，我们提出了SenseFuse，这是一种无标签融合方法，平衡了2D图像和3D形状编码器，以实现稳健的开放词汇3D实例分割，仅优化现有流程中的掩码标记阶段。我们发现2D图像和3D形状编码器表现出明显不同的失败模式，且很少共享相同的错误标签，而两个2D图像编码器则经常重复相同的错误。这种独特的行为使得2D和3D的组合具有内在的互补性。我们引入了一种自适应机制，选择场景级融合权重，以最大化从单个场景的无标签提案中直接估计的无标签灵敏度度量。SenseFuse在ScanNet200、Replica和ScanNet++的每个评估设置中都提高了标记准确性，恢复了67-100%（中位数93%）的可实现增益，并在22个报告设置中提高了实例AP。

🔬 方法详解

问题定义：本文旨在解决开放词汇3D实例分割中对2D图像特征的过度依赖，现有方法在利用3D形状信息方面存在不足，导致标记准确性低下。

核心思路：我们提出SenseFuse，通过无标签的方式融合2D图像和3D形状编码器，利用其互补性来提升分割性能，特别是在掩码标记阶段进行优化。

技术框架：SenseFuse的整体架构包括两个主要模块：2D图像编码器和3D形状编码器。首先，分别提取2D和3D特征，然后通过自适应机制进行融合，最后生成高质量的实例分割掩码。

关键创新：最重要的创新在于引入了一种自适应的场景级融合权重机制，能够在无标签的情况下快速估计灵敏度，最大化融合效果。这与现有方法的固定权重设计形成鲜明对比。

关键设计：在技术细节上，我们设计了特定的损失函数以平衡2D和3D特征的贡献，并优化了网络结构以提高计算效率和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个数据集（ScanNet200、Replica和ScanNet++）上，SenseFuse显著提高了标记准确性，恢复了67-100%（中位数93%）的可实现增益，并在22个设置中提升了实例AP，展示了其优越的性能。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在机器人导航、自动化物体操作和增强现实等领域。通过提升开放词汇3D实例分割的准确性，SenseFuse能够为智能机器人提供更好的环境理解能力，从而提高其自主决策和操作的有效性。

📄 摘要（原文）

Open-vocabulary scene understanding is fundamental for robotics, laying the groundwork for spatial reasoning and object manipulation. While closed-vocabulary 3D instance segmentation heavily leverages 3D shape information, state-of-the-art open-vocabulary methods remain predominantly restricted to 2D image features or image-distilled representations during mask labeling. In this paper, we propose SenseFuse, a label-free fusion method that balances 2D image and 3D shape encoders for robust open-vocabulary 3D instance segmentation, refining only the mask-labeling stage of existing pipelines. We reveal that 2D image and 3D shape encoders exhibit largely disjoint failure patterns and rarely share identical wrong labels, whereas two 2D image encoders frequently repeat the same errors. This distinct behavior makes the 2D and 3D pair inherently complementary. We introduce an adaptive mechanism that selects a scene-level fusion weight to maximize a label-free sensitivity measure, estimated directly from a single scene's unlabeled proposals in milliseconds. SenseFuse improves labeling accuracy in every evaluated setting across ScanNet200, Replica, and ScanNet++, recovering 67-100% (median 93%) of the gain achievable with an oracle weight, and it raises instance AP in 21 of 22 reported settings. Code is available at https://github.com/hanes1207/SenseFuse.