Domain Adaptation of SAM 2.1 for Building-Component Segmentation in Image-Based 3D Reconstruction

📄 arXiv: 2610.12786v1 📥 PDF

作者: Ehsan Agha Ebrahimi, Yong-Cheol Lee, Keith G. Mills

分类: cs.CV

发布日期: 2026-10-08

💡 一句话要点

提出SAM 2.1的领域适应方法以解决建筑组件分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 建筑组件分割 3D重建 图像分割 深度学习 领域适应

📋 核心要点

  1. 现有的3D重建方法在建筑组件的2D图像分割上存在精度不足的问题，影响了重建效果。
  2. 论文通过对Segment Anything Model（SAM 2.1）进行微调，提出了一种改进的多类建筑组件分割方法。
  3. 实验结果表明，微调后的模型在mIoU指标上从49.9%提升至69.6%，显著提高了分割精度。

📝 摘要（中文）

基于图像的建筑组件3D重建需要对2D建筑图像中的对象进行适当的分割。为实现2D掩膜在3D环境中的一致分组，研究利用Segment Anything Model（SAM）进行3D分割。本文在包含42栋建筑的HBD数据集上对SAM 2.1进行了微调，以增强对11类建筑组件的多类分割。实验结果显示，mIoU从49.9%提升至69.6%，表明分割精度显著提高，进而为3D重建提供了更准确的掩膜。与SegFormer的对比显示，SAM 2.1在某些大表面积物体类别上表现更佳，微调后的模型在用户选择的分组尺度上改善了建筑组件的分组效果。

🔬 方法详解

问题定义：本文旨在解决基于图像的建筑组件3D重建中2D图像分割精度不足的问题。现有方法在处理复杂建筑结构时，分割效果不理想，导致3D重建质量下降。

核心思路：研究通过对Segment Anything Model（SAM 2.1）进行微调，利用HBD数据集的丰富标注信息，提升对建筑组件的多类分割能力，以实现更高的分割精度和一致性。

技术框架：整体流程包括数据集构建、模型微调和性能评估。首先，利用HBD数据集对SAM 2.1进行训练，然后在新渲染的图像中评估模型的分割效果，最后通过与SegFormer的对比分析模型性能。

关键创新：最重要的创新在于通过微调SAM 2.1，显著提升了建筑组件的分割精度，尤其是在大表面积物体类别上，克服了传统方法的局限性。

关键设计：在微调过程中，采用了适应性的损失函数和优化策略，以提高模型对不同建筑组件的适应性和分割精度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，微调后的SAM 2.1模型在mIoU指标上从49.9%提升至69.6%，在某些大表面积物体类别上表现优于SegFormer，验证了微调方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括建筑信息建模（BIM）、城市规划和虚拟现实等。通过提高建筑组件的分割精度，能够为3D自动重建提供更可靠的基础，进而推动智能建筑和城市设计的发展。

📄 摘要（原文）

3D reconstruction of building components using image-based scanning requires appropriate segmentation of the objects in the 2D building images. In order to benefit from consistent grouping of the 2D masks in 3D environments, vision foundation models such as the Segment Anything Model have been utilized by Group Anything with Radiance Fields (GARField) to perform 3D segmentation. This study fine-tuned SAM 2.1 on the HBD dataset, consisting of 2,679 annotated images from 42 buildings, to enhance multi-class segmentation of 2D building images, covering 11 classes (Wall, Window, Ceiling, Door, Column, Beam, Floor, Opening, Curtain Wall, Roof, and Lift). The model was evaluated using per-class IoU, Dice, and mIoU metrics, and the results show an improvement in mIoU from 49.9% to 69.6%, indicating a meaningful improvement in class segmentation and providing a more accurate model for distilling the masks in 3D. SegFormer was then used as a baseline, generating per-class masks for comparison with SAM 2.1, which indicates improvement in some object classes with larger surface area. The masks in the building images were grouped in the neural radiance field, and the pretrained SAM 2.1 was compared with the fine-tuned SAM 2.1 in the newly rendered images. This comparison shows that fine-tuning improves the grouping of building components at a user-selected grouping scale. This advances the application of Group Anything with Radiance Fields (GARField) in 3D, enabling better segmentation of building structures for 3D auto-reconstruction.