In-Situ Melt Pool Characterization via Thermal Imaging for Defect Detection in Directed Energy Deposition Using Vision Transformers

📄 arXiv: 2411.12028v2 📥 PDF

作者: Israt Zarin Era, Fan Zhou, Ahmed Shoyeb Raihan, Imtiaz Ahmed, Alan Abul-Haj, James Craig, Srinjoy Das, Zhichao Liu

分类: cs.CV

发布日期: 2024-11-18 (更新: 2025-02-11)

💡 一句话要点

利用视觉Transformer和热成像技术，原位表征熔池以检测定向能量沉积缺陷。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 定向能量沉积 缺陷检测 视觉Transformer 掩码自编码器 自监督学习

📋 核心要点

  1. DED缺陷检测依赖大量标注数据，而实际生产中数据稀缺且标注成本高昂，限制了传统机器学习方法的应用。
  2. 利用视觉Transformer的MAE进行自监督学习，从未标注熔池数据中提取高代表性嵌入，再迁移到缺陷分类任务。
  3. 实验结果表明，该框架在少量标注数据下，缺陷检测准确率高达95.44%-99.17%，F1值超过80%，验证了其有效性。

📝 摘要（中文）

本研究致力于定向能量沉积(DED)过程中熔池的原位监测和表征，旨在提高缺陷检测和质量控制水平。DED技术在制造复杂和多材料零件方面具有巨大潜力，但孔隙和裂纹等内部缺陷会影响机械性能。为解决传统机器学习方法依赖大量标注数据的问题，该框架采用基于视觉Transformer的掩码自编码器(MAE)在未标注的熔池数据上进行自监督学习，以生成具有高度代表性的嵌入。然后，通过迁移学习，利用这些微调后的嵌入在有限的标注数据集上训练分类器，从而有效地识别熔池异常。评估了两种分类器：(1)利用微调后的MAE编码器参数的视觉Transformer (ViT)分类器；(2)微调后的MAE编码器与MLP分类器头结合。结果表明，该框架的总体准确率在95.44%到99.17%之间，平均F1分数超过80%，其中ViT分类器的性能略优于MAE编码器分类器。这证明了该方法在DED自动化质量控制中的可扩展性和成本效益，能够以最少的标注数据有效检测缺陷。

🔬 方法详解

问题定义：论文旨在解决定向能量沉积(DED)过程中，由于内部缺陷（如孔隙和裂纹）导致零件质量下降的问题。现有机器学习方法依赖大量标注的熔池图像数据进行缺陷检测，但在实际生产环境中，获取和标注这些数据成本高昂且耗时，限制了其应用。

核心思路：论文的核心思路是利用自监督学习从未标注的熔池图像数据中学习到具有代表性的特征嵌入，然后通过迁移学习将这些嵌入应用到缺陷分类任务中。这样可以在少量标注数据的情况下，实现高精度的缺陷检测。这种方法降低了对大量标注数据的依赖，提高了DED质量控制的效率和可扩展性。

技术框架：整体框架包含两个主要阶段：(1)自监督预训练阶段：使用基于视觉Transformer的掩码自编码器(MAE)在大量未标注的熔池图像数据上进行预训练，学习熔池图像的通用特征表示。(2)迁移学习和分类阶段：将预训练的MAE编码器作为特征提取器，然后使用少量标注的熔池图像数据微调编码器参数，并训练分类器进行缺陷分类。论文评估了两种分类器：ViT分类器和MAE编码器+MLP分类器。

关键创新：最重要的技术创新点在于利用自监督学习的MAE从未标注的熔池图像中学习特征表示，从而避免了对大量标注数据的依赖。与传统的有监督学习方法相比，该方法能够更有效地利用未标注数据，提高模型的泛化能力和鲁棒性。此外，将MAE与视觉Transformer结合，充分利用了Transformer在图像处理方面的优势。

关键设计：MAE采用掩码图像建模策略，随机mask掉输入图像的部分区域，然后训练编码器-解码器网络来重建被mask掉的区域。损失函数采用均方误差(MSE)来衡量重建图像与原始图像之间的差异。在分类阶段，ViT分类器直接使用微调后的MAE编码器参数进行初始化，而MAE编码器+MLP分类器则在MAE编码器的输出上添加一个MLP分类器头。具体参数设置在论文中有详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该框架在少量标注数据下，缺陷检测准确率高达95.44%-99.17%，平均F1分数超过80%。ViT分类器的性能略优于MAE编码器+MLP分类器。这些结果验证了该方法在DED缺陷检测中的有效性和优越性，表明其能够以较低的标注成本实现高精度的缺陷检测。

🎯 应用场景

该研究成果可应用于定向能量沉积(DED)的自动化质量控制，实现对熔池状态的实时监测和缺陷的早期预警。通过减少对人工检测的依赖，降低生产成本，提高DED制造零件的质量和可靠性。此外，该方法也可推广到其他增材制造工艺的质量控制中。

📄 摘要（原文）

Directed Energy Deposition (DED) offers significant potential for manufacturing complex and multi-material parts. However, internal defects such as porosity and cracks can compromise mechanical properties and overall performance. This study focuses on in-situ monitoring and characterization of melt pools associated with porosity, aiming to improve defect detection and quality control in DED-printed parts. Traditional machine learning approaches for defect identification rely on extensive labeled datasets, often scarce and expensive to generate in real-world manufacturing. To address this, our framework employs self-supervised learning on unlabeled melt pool data using a Vision Transformer-based Masked Autoencoder (MAE) to produce highly representative embeddings. These fine-tuned embeddings are leveraged via transfer learning to train classifiers on a limited labeled dataset, enabling the effective identification of melt pool anomalies. We evaluate two classifiers: (1) a Vision Transformer (ViT) classifier utilizing the fine-tuned MAE Encoder's parameters and (2) the fine-tuned MAE Encoder combined with an MLP classifier head. Our framework achieves overall accuracy ranging from 95.44% to 99.17% and an average F1 score exceeding 80%, with the ViT Classifier slightly outperforming the MAE Encoder Classifier. This demonstrates the scalability and cost-effectiveness of our approach for automated quality control in DED, effectively detecting defects with minimal labeled data.