Material-informed Gaussian Splatting for 3D World Reconstruction in a Digital Twin

📄 arXiv: 2511.20348v2 📥 PDF

作者: Andy Huynh, João Malheiro Silva, Holger Caesar, Tong Duy Son

分类: cs.CV, cs.RO

发布日期: 2025-11-25 (更新: 2025-11-28)

备注: 8 pages, 5 figures. Submitted to IEEE Intelligent Vehicles Symposium (IV) 2026 for possible publication. Revised version (v2) to correct author order

💡 一句话要点

提出基于材质信息的3D高斯溅射方法，用于数字孪生中的三维世界重建

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 3D重建 高斯溅射 数字孪生 材质信息 传感器模拟 计算机视觉 语义分割

📋 核心要点

  1. 传统激光雷达-相机融合方法标定复杂，且难以处理玻璃等材质，这些材质在图像中可见，但在点云中表现不佳。
  2. 提出一种纯相机流水线，利用3D高斯溅射重建场景，提取语义材质掩码，并赋予物理材质属性，用于传感器模拟。
  3. 实验表明，该方法在传感器模拟保真度上可与激光雷达-相机融合媲美，同时降低了硬件复杂度和标定难度。

📝 摘要（中文）

本文提出了一种仅使用相机的流水线方法，用于数字孪生中的三维重建。该方法利用多视角图像通过3D高斯溅射重建场景，通过视觉模型提取语义材质掩码，并将高斯表示转换为带有投影材质标签的网格表面。此外，该方法还为网格赋予基于物理的材质属性，以便在现代图形引擎和模拟器中实现精确的传感器模拟。该方法结合了照片级真实感重建和基于物理的材质分配，提供了与激光雷达-相机融合相当的传感器模拟保真度，同时消除了硬件复杂性和标定需求。我们使用来自仪器化测试车辆的内部数据集验证了我们的纯相机方法，利用激光雷达作为反射率验证的ground truth，并结合图像相似性指标。

🔬 方法详解

问题定义：现有数字孪生中的三维重建方法通常依赖于激光雷达，虽然能提供精确的几何信息，但缺乏相机捕捉的语义和纹理信息。激光雷达-相机融合方法需要复杂的标定过程，并且在处理玻璃等材质时效果不佳，因为这些材质在图像中清晰可见，但在激光雷达点云中表现很差。因此，如何仅使用相机数据，实现高质量、具有语义信息和物理属性的三维重建是一个关键问题。

核心思路：本文的核心思路是利用3D高斯溅射技术，从多视角图像中重建场景，并结合视觉模型提取语义材质信息，然后将这些信息赋予到重建的3D模型上。通过这种方式，可以实现照片级真实感的三维重建，并为模型赋予基于物理的材质属性，从而提高传感器模拟的真实度和准确性。

技术框架：该方法主要包含以下几个阶段：1) 使用多视角图像进行3D高斯溅射重建；2) 利用视觉模型提取语义材质掩码；3) 将高斯表示转换为带有投影材质标签的网格表面；4) 为网格表面赋予基于物理的材质属性。整个流程从图像数据开始，最终生成具有几何、纹理、语义和物理属性的三维模型。

关键创新：该方法最重要的创新点在于将3D高斯溅射技术与材质信息提取相结合，实现了仅使用相机数据的高质量三维重建。与传统的激光雷达-相机融合方法相比，该方法无需复杂的硬件标定，并且能够更好地处理玻璃等材质。此外，通过赋予模型基于物理的材质属性，提高了传感器模拟的真实度和准确性。

关键设计：论文中使用了3D高斯溅射技术进行场景重建，并利用视觉模型（具体模型未知）提取语义材质掩码。高斯表示到网格表面的转换以及材质标签的投影方法的具体细节未知。此外，如何根据语义材质信息确定合适的物理材质属性，以及具体的参数设置和损失函数等细节也未知。

📊 实验亮点

论文使用内部数据集进行了验证，该数据集来自仪器化测试车辆，并使用激光雷达数据作为反射率验证的ground truth。实验结果表明，该纯相机方法在传感器模拟保真度上可与激光雷达-相机融合方法相媲美，同时消除了硬件复杂性和标定需求。具体的性能数据和提升幅度未知。

🎯 应用场景

该研究成果可广泛应用于数字孪生、自动驾驶、机器人导航、虚拟现实等领域。通过构建具有真实感和物理属性的三维环境模型，可以为自动驾驶车辆的传感器模拟提供更准确的数据，提高算法的鲁棒性和安全性。此外，该方法还可以用于虚拟现实场景的创建，提供更逼真的用户体验。

📄 摘要（原文）

3D reconstruction for Digital Twins often relies on LiDAR-based methods, which provide accurate geometry but lack the semantics and textures naturally captured by cameras. Traditional LiDAR-camera fusion approaches require complex calibration and still struggle with certain materials like glass, which are visible in images but poorly represented in point clouds. We propose a camera-only pipeline that reconstructs scenes using 3D Gaussian Splatting from multi-view images, extracts semantic material masks via vision models, converts Gaussian representations to mesh surfaces with projected material labels, and assigns physics-based material properties for accurate sensor simulation in modern graphics engines and simulators. This approach combines photorealistic reconstruction with physics-based material assignment, providing sensor simulation fidelity comparable to LiDAR-camera fusion while eliminating hardware complexity and calibration requirements. We validate our camera-only method using an internal dataset from an instrumented test vehicle, leveraging LiDAR as ground truth for reflectivity validation alongside image similarity metrics.