PerfCam: Digital Twinning for Production Lines Using 3D Gaussian Splatting and Vision Models

📄 arXiv: 2504.18165v1 📥 PDF

作者: Michel Gokan Khan, Renan Guarese, Fabian Johnson, Xi Vincent Wang, Anders Bergman, Benjamin Edvinsson, Mario Romero, Jérémy Vachier, Jan Kronqvist

分类: cs.CV, cs.AI, cs.LG

发布日期: 2025-04-25

期刊: IEEE Access, 2025

DOI: 10.1109/ACCESS.2025.3567702

💡 一句话要点

PerfCam：利用3D高斯溅射和视觉模型的产线数字孪生框架

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 数字孪生 3D高斯溅射 计算机视觉 工业生产线 关键绩效指标

📋 核心要点

  1. 现有产线数字化方案缺乏实时性和精确性，难以有效提取关键绩效指标(KPI)。
  2. PerfCam结合3D高斯溅射和CNN，半自动化地进行对象跟踪和空间映射，构建实时数字孪生。
  3. 在制药产线测试中，PerfCam成功提取可用性、性能、OEE等KPI，验证了其有效性。

📝 摘要（中文）

本文介绍PerfCam，一个开源的概念验证(PoC)数字孪生框架，它结合了相机和传感器数据与3D高斯溅射和计算机视觉模型，用于工业生产线中的数字孪生、对象跟踪和关键绩效指标(KPI)提取。通过利用3D重建和卷积神经网络(CNN)，PerfCam提供了一种半自动化的对象跟踪和空间映射方法，从而实现能够捕获实时KPI（如可用性、性能、整体设备效率(OEE)和生产线中传送带速率）的数字孪生。我们通过在制药行业的实际测试生产线中进行实际部署来验证PerfCam的有效性，并贡献一个公开的数据集，以支持该领域的进一步研究和开发。结果表明，PerfCam能够通过其精确的数字孪生能力提供可操作的见解，突显了其作为在智能制造环境中开发可用数字孪生和提取运营分析的有效工具的价值。

🔬 方法详解

问题定义：现有工业生产线数字化方案在实时性和精确性方面存在不足，难以准确跟踪对象并提取关键绩效指标(KPI)，例如可用性、性能和整体设备效率(OEE)。传统方法通常依赖于手动配置或复杂的传感器网络，成本高昂且难以维护。因此，需要一种能够半自动化地构建精确数字孪生，并实时提取KPI的解决方案。

核心思路：PerfCam的核心思路是结合3D高斯溅射技术和计算机视觉模型，利用相机和传感器数据构建生产线的精确三维重建模型，并在此基础上进行对象跟踪和KPI提取。3D高斯溅射能够高效地表示场景几何和外观，而CNN则可以用于识别和跟踪生产线上的对象。通过将两者结合，PerfCam能够实现半自动化的数字孪生构建和实时KPI提取。

技术框架：PerfCam框架主要包含以下几个模块：1) 数据采集模块：负责从相机和传感器收集生产线的数据。2) 3D重建模块：利用3D高斯溅射技术，根据采集到的图像数据重建生产线的三维模型。3) 对象跟踪模块：使用CNN识别和跟踪生产线上的对象。4) KPI提取模块：根据对象跟踪的结果，计算并提取关键绩效指标，如可用性、性能和OEE。5) 数字孪生可视化模块：将重建的三维模型和提取的KPI以可视化的方式呈现给用户。

关键创新：PerfCam的关键创新在于将3D高斯溅射技术应用于工业生产线的数字孪生构建。与传统的基于点云或网格的3D重建方法相比，3D高斯溅射能够更高效地表示场景几何和外观，并且具有更好的渲染质量。此外，PerfCam还提出了一种半自动化的对象跟踪方法，减少了人工干预的需求。

关键设计：PerfCam使用COLMAP进行稀疏重建，然后使用3D高斯溅射进行优化，损失函数包括L1损失、D-SSIM损失和高斯正则化项。CNN采用常见的卷积神经网络结构，例如ResNet或YOLO，并使用迁移学习进行训练。KPI的计算方法根据具体的生产线和KPI的定义而定。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PerfCam在实际制药生产线测试中表现出色，能够准确重建生产线的三维模型，并实时跟踪对象和提取KPI。实验结果表明，PerfCam能够提供精确的数字孪生，并为用户提供可操作的见解。此外，作者还公开了一个数据集，为该领域的进一步研究和开发提供了支持。

🎯 应用场景

PerfCam可应用于智能制造领域，帮助企业构建生产线的数字孪生，实现实时监控、故障诊断和性能优化。通过精确的KPI提取，企业可以更好地了解生产线的运行状态，及时发现问题并采取措施，从而提高生产效率和降低成本。此外，PerfCam还可以用于虚拟仿真和培训，帮助员工更好地了解生产流程和操作规范。

📄 摘要（原文）

We introduce PerfCam, an open source Proof-of-Concept (PoC) digital twinning framework that combines camera and sensory data with 3D Gaussian Splatting and computer vision models for digital twinning, object tracking, and Key Performance Indicators (KPIs) extraction in industrial production lines. By utilizing 3D reconstruction and Convolutional Neural Networks (CNNs), PerfCam offers a semi-automated approach to object tracking and spatial mapping, enabling digital twins that capture real-time KPIs such as availability, performance, Overall Equipment Effectiveness (OEE), and rate of conveyor belts in the production line. We validate the effectiveness of PerfCam through a practical deployment within realistic test production lines in the pharmaceutical industry and contribute an openly published dataset to support further research and development in the field. The results demonstrate PerfCam's ability to deliver actionable insights through its precise digital twin capabilities, underscoring its value as an effective tool for developing usable digital twins in smart manufacturing environments and extracting operational analytics.