Rig-Aware 3D Reconstruction of Vehicle Undercarriages using Gaussian Splatting
作者: Nitin Kulkarni, Akhil Devarashetti, Charlie Cluss, Livio Forte, Dan Buckmaster, Philip Schneider, Chunming Qiao, Alina Vereshchaka
分类: cs.CV, cs.GR, cs.LG
发布日期: 2026-01-20
备注: 8 pages, 9 figures, Conference: IEEE International Conference on Machine Learning and Applications 2025 (ICMLA 2025): https://www.icmla-conference.org/icmla25/
💡 一句话要点
提出一种基于高斯溅射的车辆底盘三维重建方法，用于提升检测效率和买家信心。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 三维重建 高斯溅射 车辆底盘 结构运动 多相机系统
📋 核心要点
- 传统车辆底盘检测依赖人工，效率低且存在安全隐患，在线二手车交易也缺乏底盘图像，影响买家决策。
- 论文提出一种基于三相机系统的底盘三维重建方法，利用相机标定和几何先验克服宽视角和低视差问题。
- 实验结果表明，该方法能够生成高质量的底盘三维模型，支持实时渲染，并提升检测效率和买家信心。
📝 摘要（中文）
本文提出了一种端到端的流水线，利用三相机系统捕获车辆驶过时的底盘视频，并生成可交互的底盘三维模型。该模型允许检测人员和客户旋转、缩放和切片底盘，从而在几秒钟内检测到锈蚀、泄漏或撞击损坏，从而提高工作场所安全性和买家信心。主要贡献是一种针对宽视角镜头畸变和低视差场景的相机系统结构运动（SfM）流水线。该方法通过集成精确的相机标定、同步视频流和来自相机系统的强几何先验来克服这些挑战。使用带有学习组件、DISK特征提取器和基于注意力的LightGlue匹配器的约束匹配策略，生成高质量的稀疏点云，这些点云通常是标准SfM流水线无法实现的。这些点云作为高斯溅射过程的种子，生成实时渲染的逼真底盘模型。实验和消融研究表明，所提出的设计选择对于实现最先进的质量至关重要。
🔬 方法详解
问题定义：车辆底盘检测通常需要人工完成，耗时耗力且存在安全风险。现有的三维重建方法难以处理底盘图像中存在的宽视角镜头畸变和低视差问题，导致重建质量不高，无法满足实际应用需求。
核心思路：利用多相机系统的几何约束，结合精确的相机标定和同步视频流，为三维重建提供更强的几何先验。同时，采用更鲁棒的特征提取和匹配算法，生成高质量的稀疏点云，作为高斯溅射的输入，最终实现高质量的三维重建。
技术框架：该方法包含以下几个主要阶段：1) 使用三相机系统同步采集车辆底盘视频；2) 对相机进行精确标定，获取相机内外参数；3) 使用DISK特征提取器提取图像特征，并使用LightGlue匹配器进行特征匹配；4) 基于匹配的特征点，利用相机系统的几何约束进行稀疏点云重建；5) 使用重建的稀疏点云初始化高斯溅射，并进行优化，最终生成高质量的三维模型。
关键创新：该方法的主要创新在于：1) 针对车辆底盘的特殊场景，设计了基于多相机系统的结构运动流水线，充分利用了相机系统的几何约束；2) 采用了DISK特征提取器和LightGlue匹配器，提高了特征匹配的鲁棒性和准确性，从而生成了高质量的稀疏点云；3) 将高质量的稀疏点云作为高斯溅射的输入，实现了逼真的底盘三维模型重建。
关键设计：相机标定精度至关重要，需要使用高精度的标定板和标定算法。特征匹配过程中，需要设置合适的匹配阈值，以过滤掉错误的匹配点。高斯溅射的优化过程中，需要调整学习率和迭代次数，以获得最佳的重建效果。
🖼️ 关键图片
📊 实验亮点
论文通过实验验证了所提出方法的有效性。实验结果表明，该方法能够生成高质量的车辆底盘三维模型，相比于传统的SfM方法，在重建质量和渲染效果上都有显著提升。消融实验也验证了各个模块的有效性，例如，使用DISK特征提取器和LightGlue匹配器可以显著提高特征匹配的准确性，从而提高重建质量。
🎯 应用场景
该研究成果可应用于二手车检测、车辆维修、自动驾驶等领域。在二手车检测中，可以帮助检测人员快速准确地评估车辆底盘状况，提高检测效率和准确性。在车辆维修中，可以为维修人员提供更直观的三维模型，方便故障诊断和维修。在自动驾驶领域，可以用于构建高精度的车辆底盘地图，提高自动驾驶系统的安全性。
📄 摘要（原文）
Inspecting the undercarriage of used vehicles is a labor-intensive task that requires inspectors to crouch or crawl underneath each vehicle to thoroughly examine it. Additionally, online buyers rarely see undercarriage photos. We present an end-to-end pipeline that utilizes a three-camera rig to capture videos of the undercarriage as the vehicle drives over it, and produces an interactive 3D model of the undercarriage. The 3D model enables inspectors and customers to rotate, zoom, and slice through the undercarriage, allowing them to detect rust, leaks, or impact damage in seconds, thereby improving both workplace safety and buyer confidence. Our primary contribution is a rig-aware Structure-from-Motion (SfM) pipeline specifically designed to overcome the challenges of wide-angle lens distortion and low-parallax scenes. Our method overcomes the challenges of wide-angle lens distortion and low-parallax scenes by integrating precise camera calibration, synchronized video streams, and strong geometric priors from the camera rig. We use a constrained matching strategy with learned components, the DISK feature extractor, and the attention-based LightGlue matcher to generate high-quality sparse point clouds that are often unattainable with standard SfM pipelines. These point clouds seed the Gaussian splatting process to generate photorealistic undercarriage models that render in real-time. Our experiments and ablation studies demonstrate that our design choices are essential to achieve state-of-the-art quality.