JEMA: A Joint Embedding Framework for Scalable Co-Learning with Multimodal Alignment

📄 arXiv: 2410.23988v1 📥 PDF

作者: Joao Sousa, Roya Darabi, Armando Sousa, Frank Brueckner, Luís Paulo Reis, Ana Reis

分类: cs.CV

发布日期: 2024-10-31

备注: 26 pages, 14 figures

💡 一句话要点

JEMA：一种用于多模态对齐可扩展协同学习的联合嵌入框架

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 联合嵌入 激光金属沉积 过程监控 监督对比学习 Vision Transformer 增材制造

📋 核心要点

  1. 工业过程监控面临数据有限和AI模型不透明的挑战，限制了其在实际工业环境中的应用。
  2. JEMA框架通过联合嵌入多模态数据（图像和元数据），学习可迁移的语义表示，实现稳健的过程监控。
  3. 实验表明，JEMA在LMD过程监控中表现出高可扩展性和性能，尤其是在与Vision Transformer结合时，性能提升显著。

📝 摘要（中文）

本研究提出了一种名为JEMA（Joint Embedding with Multimodal Alignment，多模态对齐联合嵌入）的协同学习框架，专为激光金属沉积（LMD）这一金属增材制造的关键工艺设计。随着工业5.0在工业应用中日益普及，高效的过程监控变得至关重要。然而，有限的数据和人工智能的不透明性给其在工业环境中的应用带来了挑战。JEMA通过利用多模态数据（包括多视角图像和工艺参数等元数据）来学习可迁移的语义表示，从而应对这些挑战。通过应用监督对比损失函数，JEMA能够实现稳健的学习，并随后仅使用主要模态进行过程监控，从而简化了硬件需求和计算开销。我们研究了JEMA在LMD过程监控中的有效性，特别关注其对下游任务（如熔池几何形状预测）的泛化能力，而无需进行大量的微调。实验评估表明，JEMA具有高度的可扩展性和性能，尤其是在与Vision Transformer模型结合使用时。与监督对比学习相比，我们在多模态设置下性能提高了8%，在单模态设置下性能提高了1%。此外，学习到的嵌入表示能够预测元数据，从而增强了可解释性，并能够评估添加的元数据的贡献。我们的框架为整合多传感器数据与元数据奠定了基础，从而能够在LMD领域及其他领域实现各种下游任务。

🔬 方法详解

问题定义：论文旨在解决激光金属沉积（LMD）过程中，由于数据量有限和AI模型不透明性，导致难以进行有效过程监控的问题。现有方法难以充分利用多模态数据，且泛化能力不足，需要大量微调才能适应新的下游任务。

核心思路：论文的核心思路是利用多模态数据（包括图像和元数据）进行联合嵌入学习，从而获得可迁移的语义表示。通过监督对比学习，使不同模态的数据在嵌入空间中对齐，从而实现仅使用主要模态即可进行过程监控，降低硬件和计算成本。

技术框架：JEMA框架包含数据输入模块、特征提取模块、联合嵌入模块和下游任务预测模块。数据输入模块负责收集多模态数据，包括多视角图像和工艺参数等元数据。特征提取模块使用卷积神经网络（CNN）或Vision Transformer等模型提取图像特征，并使用全连接网络提取元数据特征。联合嵌入模块使用监督对比损失函数，将不同模态的特征映射到同一个嵌入空间。下游任务预测模块使用学习到的嵌入表示进行熔池几何形状预测等任务。

关键创新：JEMA的关键创新在于提出了一个多模态对齐的联合嵌入框架，能够有效地利用多模态数据进行协同学习，并学习到可迁移的语义表示。通过监督对比损失函数，实现了不同模态数据在嵌入空间中的对齐，从而可以使用单一模态进行过程监控，降低了成本。

关键设计：JEMA的关键设计包括：1) 使用监督对比损失函数进行多模态对齐；2) 使用Vision Transformer模型提取图像特征；3) 设计了元数据嵌入网络，将工艺参数等元数据映射到嵌入空间；4) 采用多视角图像作为输入，增强模型的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

JEMA框架在LMD过程监控中表现出色，与监督对比学习相比，在多模态设置下性能提高了8%，在单模态设置下性能提高了1%。实验结果表明，JEMA能够有效地利用多模态数据进行协同学习，并学习到可迁移的语义表示，从而实现高性能的过程监控。

🎯 应用场景

JEMA框架可应用于激光金属沉积（LMD）过程的实时监控和质量控制，通过预测熔池几何形状等关键参数，优化工艺参数，提高产品质量和生产效率。该框架还可扩展到其他增材制造工艺以及其他工业过程监控领域，例如焊接、切割等，具有广泛的应用前景。

📄 摘要（原文）

This work introduces JEMA (Joint Embedding with Multimodal Alignment), a novel co-learning framework tailored for laser metal deposition (LMD), a pivotal process in metal additive manufacturing. As Industry 5.0 gains traction in industrial applications, efficient process monitoring becomes increasingly crucial. However, limited data and the opaque nature of AI present challenges for its application in an industrial setting. JEMA addresses this challenges by leveraging multimodal data, including multi-view images and metadata such as process parameters, to learn transferable semantic representations. By applying a supervised contrastive loss function, JEMA enables robust learning and subsequent process monitoring using only the primary modality, simplifying hardware requirements and computational overhead. We investigate the effectiveness of JEMA in LMD process monitoring, focusing specifically on its generalization to downstream tasks such as melt pool geometry prediction, achieved without extensive fine-tuning. Our empirical evaluation demonstrates the high scalability and performance of JEMA, particularly when combined with Vision Transformer models. We report an 8% increase in performance in multimodal settings and a 1% improvement in unimodal settings compared to supervised contrastive learning. Additionally, the learned embedding representation enables the prediction of metadata, enhancing interpretability and making possible the assessment of the added metadata's contributions. Our framework lays the foundation for integrating multisensor data with metadata, enabling diverse downstream tasks within the LMD domain and beyond.