Measurable Semantic 3D Gaussian Splatting with Joint Region and Depth Supervision for Interactive Building Inspection
作者: Yi Zhang, Tian Tan, Ray Kai Leung Su
分类: cs.CV
发布日期: 2026-10-09
💡 一句话要点
提出可测量的语义3D高斯点云以解决建筑检查中的交互性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 3D重建 建筑检查 高斯点云 深度监督 语义分析 交互式平台 工程应用
📋 核心要点
- 现有的图像重建方法无法同时提供几何可测量性和语义结构，限制了其在建筑检查中的应用。
- 本文提出的3D高斯点云框架通过区域和深度监督，优化了建筑检查过程中的目标区域和几何精度。
- 实验结果表明，该框架在深度MAE和语义分割上均有显著提升，具体数据为深度MAE降低58.1%和86.8%。
📝 摘要（中文）
基于图像的3D重建为建筑检查和维护提供了一种可扩展的表示。然而，仅靠逼真的重建无法满足工程应用所需的几何可测量性、语义结构和交互信息访问。本文提出了一种可测量的语义3D高斯点云（3DGS）框架，结合区域和深度监督，实现多视角图像的交互式建筑检查。通过掩膜区域监督抑制无关背景，优化目标区域。点位深度监督引导高斯中心朝向物理表面，提供几何锚点以测量物理尺寸和面积。语义高斯场将可学习的类别特征与单个高斯原语关联，实现语义渲染和组件级检查。该框架在合成UAV检查QuakeCity和智能手机捕获的HKUPB数据集上显著提高了性能。
🔬 方法详解
问题定义：本文旨在解决现有图像重建方法在建筑检查中缺乏几何可测量性和语义结构的问题。传统方法往往只关注视觉重建，无法满足工程应用的需求。
核心思路：提出的3DGS框架结合区域和深度监督，通过优化目标区域和引导高斯中心朝向物理表面，增强了重建的几何准确性和语义信息。
技术框架：该框架包括三个主要模块：掩膜区域监督模块、点位深度监督模块和语义高斯场模块。掩膜区域监督模块聚焦于目标区域，点位深度监督模块提供几何锚点，语义高斯场模块实现语义渲染。
关键创新：最重要的创新在于结合区域和深度监督，使得高斯点云不仅具备视觉重建能力，还能提供可测量的几何信息和语义结构。这一设计显著提升了建筑检查的交互性和准确性。
关键设计：在损失函数设计上，采用了结合区域和深度信息的复合损失函数，以确保高斯中心的准确定位。同时，网络结构中引入了可学习的语义特征，以增强语义渲染能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提出的框架在深度MAE上分别降低了58.1%和86.8%，语义分割的mIoU值达到了0.8529和0.8642。在HKUPB数据集中，测量高度、宽度和面积的平均相对误差分别为0.33%、1.07%和0.60%，展现了显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括建筑检查、维护和管理等工程应用。通过提供可测量的几何信息和语义结构，能够提高建筑物的安全性和维护效率，未来可能在智能建筑和城市管理中发挥重要作用。
📄 摘要（原文）
Image-based 3D reconstruction provides a scalable representation for building inspection and maintenance. However, photorealistic reconstruction alone does not fully provide the geometric measurability, semantic structure, and interactive information access required for engineering applications. This study proposes a measurable semantic 3D Gaussian Splatting (3DGS) framework with region and depth supervision for interactive building inspection from multi-view imagery. Mask-based region supervision suppresses irrelevant backgrounds and focuses optimization on target regions. Point-wise depth supervision guides Gaussian centers toward physical surfaces using reference geometry derived from multi-view stereo (MVS) point clouds, providing geometric anchors for measuring physical dimensions and areas. A semantic Gaussian field associates learnable class features with individual Gaussian primitives, enabling semantic rendering and component-level inspection. These capabilities are operationalized through AEC-SplatTwin, an interactive building inspection platform supporting real-time visualization, semantic analysis, quantitative measurement, and multimodal large language model (MLLM)-assisted interaction. On the synthetic UAV-inspection QuakeCity and smartphone-captured HKUPB datasets, the framework reduces Gaussian-center depth MAE by 58.1% and 86.8%, while its semantic field achieves mIoU values of 0.8529 and 0.8642. On HKUPB, the mean relative errors for height, width, and area measurements are 0.33%, 1.07%, and 0.60%. These results show that the proposed framework extends 3DGS beyond visual reconstruction into a measurable, semantically structured, and interactive engineering representation for building inspection.