CrashSplat: 2D to 3D Vehicle Damage Segmentation in Gaussian Splatting

📄 arXiv: 2509.23947v1 📥 PDF

作者: Dragoş-Andrei Chileban, Andrei-Ştefan Bulzan, Cosmin Cernǎzanu-Glǎvan

分类: cs.CV

发布日期: 2025-09-28

🔗 代码/项目: GITHUB

💡 一句话要点

CrashSplat：基于高斯溅射的车辆损伤2D到3D分割方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 车辆损伤检测 3D高斯溅射 三维重建 单视角分割 运动结构恢复

📋 核心要点

  1. 汽车保险行业对自动车辆损伤检测有很大需求，但现有方法主要集中于2D图像分析，缺乏对3D几何信息的有效利用。
  2. 本文提出CrashSplat方法，利用3D高斯溅射技术重建车辆的3D模型，并从单视角图像中提升2D损伤掩码到3D空间。
  3. 该方法无需学习，通过Z-缓冲和深度不透明度建模实现高斯体的过滤，在单视角损伤检测场景下表现出良好的效果。

📝 摘要（中文）

本文提出了一种自动车辆损伤检测流程，通过提升2D掩码来实现3D损伤分割。该方法利用3D高斯溅射（3D-GS）进行车辆的3D重建，并提出了一种简单有效的免学习单视角3D-GS分割方法。具体而言，首先使用运动结构恢复（SfM）获取的相机参数将高斯投影到图像平面上，然后通过一个算法进行过滤，该算法利用Z-缓冲以及深度和不透明度的正态分布模型。实验表明，该方法对于车辆损伤检测等具有挑战性的场景特别有效，在这些场景中，目标对象（例如，划痕、小凹痕）可能仅在单个视图中清晰可见，这使得多视图一致性方法不切实际或不可能。

🔬 方法详解

问题定义：现有车辆损伤检测方法主要依赖于2D图像分析，无法充分利用3D几何信息，导致对微小损伤（如划痕、凹痕）的检测精度较低。多视角方法依赖于视图间的一致性，但在某些情况下，损伤可能仅在一个视角下清晰可见，导致多视角方法失效。

核心思路：本文的核心思路是利用3D高斯溅射（3D-GS）技术，从少量图像中重建车辆的精确3D模型，然后将2D图像上的损伤掩码投影到3D高斯体上，从而实现3D损伤分割。该方法特别关注单视角下的损伤检测，避免了对多视角一致性的依赖。

技术框架：该方法主要包含以下几个阶段：1) 使用运动结构恢复（SfM）从输入图像中估计相机参数。2) 使用3D-GS重建车辆的3D模型。3) 将2D损伤掩码投影到3D高斯体上，具体来说，将高斯体投影到图像平面，并使用Z-缓冲算法过滤掉被遮挡的高斯体。4) 使用深度和不透明度的正态分布模型进一步过滤高斯体，从而得到最终的3D损伤分割结果。

关键创新：该方法最重要的创新点在于提出了一种免学习的单视角3D-GS分割方法。与需要大量训练数据的深度学习方法不同，该方法仅依赖于几何信息和统计模型，因此具有更好的泛化能力和鲁棒性。此外，该方法特别适用于损伤仅在单个视角下可见的场景。

关键设计：该方法的关键设计包括：1) 使用Z-缓冲算法进行遮挡剔除，确保只有可见的高斯体被考虑。2) 使用深度和不透明度的正态分布模型来过滤高斯体，该模型假设深度和不透明度在损伤区域具有特定的统计特性。3) 该方法没有使用任何可学习的参数，避免了过拟合的风险，并提高了泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该论文提出了一种免学习的单视角3D-GS分割方法，特别适用于车辆损伤检测等具有挑战性的场景。实验结果表明，该方法在单视角下能够有效地分割出车辆的损伤区域，为后续的损伤评估和理赔提供了可靠的基础。

🎯 应用场景

该研究成果可应用于汽车保险行业的自动理赔流程，实现快速、准确、低成本的车辆损伤评估。此外，该方法还可扩展到其他领域的3D对象损伤检测，例如基础设施维护、航空航天等，具有广泛的应用前景和实际价值。

📄 摘要（原文）

Automatic car damage detection has been a topic of significant interest for the auto insurance industry as it promises faster, accurate, and cost-effective damage assessments. However, few works have gone beyond 2D image analysis to leverage 3D reconstruction methods, which have the potential to provide a more comprehensive and geometrically accurate representation of the damage. Moreover, recent methods employing 3D representations for novel view synthesis, particularly 3D Gaussian Splatting (3D-GS), have demonstrated the ability to generate accurate and coherent 3D reconstructions from a limited number of views. In this work we introduce an automatic car damage detection pipeline that performs 3D damage segmentation by up-lifting 2D masks. Additionally, we propose a simple yet effective learning-free approach for single-view 3D-GS segmentation. Specifically, Gaussians are projected onto the image plane using camera parameters obtained via Structure from Motion (SfM). They are then filtered through an algorithm that utilizes Z-buffering along with a normal distribution model of depth and opacities. Through experiments we found that this method is particularly effective for challenging scenarios like car damage detection, where target objects (e.g., scratches, small dents) may only be clearly visible in a single view, making multi-view consistency approaches impractical or impossible. The code is publicly available at: https://github.com/DragosChileban/CrashSplat.