Continual Learning for Multimodal Data Fusion of a Soft Gripper
作者: Nilay Kushawaha, Egidio Falotico
分类: cs.LG, cs.AI, cs.RO
发布日期: 2024-09-20 (更新: 2025-08-21)
备注: Accepted in Wiley Advanced Robotics Research
💡 一句话要点
提出一种基于原型存储的增量式多模态融合学习算法，用于软体抓取器。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 持续学习 多模态融合 软体抓取器 增量学习 原型学习 机器人操作系统 域适应
📋 核心要点
- 现有模型在单一模态数据上训练，难以泛化到其他模态，直接融合多模态数据又需要每次遇到新领域时从头开始训练。
- 论文提出一种持续学习算法，通过结合类增量和域增量学习，实现多模态数据的增量学习，仅需存储原型即可。
- 实验表明，该算法在软体抓取器的触觉和视觉数据融合任务中表现良好，并通过消融实验验证了各组件的有效性，并进行了实时物体分类验证。
📝 摘要（中文）
本文提出了一种持续学习算法，该算法能够通过利用类增量和域增量学习场景，从环境中持续且增量地获取新知识，同时保留先前学习的信息。针对在一种数据模态上训练的模型在另一种模态上测试时常常失效的问题，本文提出的算法能够有效地学习不同的数据模态。该算法仅需存储每个类的原型，并且在数据稀缺但存在大量非独立同分布（non-iid）未标记数据的环境中表现良好。论文在一个具有挑战性的自定义多模态数据集上评估了该算法的有效性，该数据集包含来自软气动抓取器的触觉数据和来自物体视频序列的非静态图像的视觉数据。此外，论文还在自定义数据集和Core50数据集上进行了消融研究，以突出算法不同组成部分的贡献。为了进一步证明算法的鲁棒性，论文还使用软体抓取器和一个独立的外部摄像头设置进行了一个实时的物体分类实验，所有设备都与机器人操作系统（ROS）框架同步。
🔬 方法详解
问题定义：论文旨在解决软体抓取器在多模态数据融合场景下的持续学习问题。现有的多模态融合方法通常需要一次性训练所有数据，无法适应数据模态或领域不断变化的情况。此外，在机器人应用中，标注数据往往稀缺，而未标注数据则相对丰富，如何有效利用这些未标注数据也是一个挑战。
核心思路：论文的核心思路是利用持续学习的思想，将多模态数据的学习过程分解为多个增量学习任务，每个任务对应一种数据模态或一个数据领域。通过结合类增量学习和域增量学习，算法能够在学习新任务的同时，保留之前学习的知识。此外，算法采用原型存储的方式，仅需存储每个类别的少量原型，从而降低了存储开销。
技术框架：该算法的技术框架主要包括以下几个阶段：1) 特征提取：使用预训练的神经网络提取不同模态数据的特征。2) 原型存储：为每个类别存储一组原型，原型可以是该类别特征的均值或聚类中心。3) 增量学习：当遇到新的数据模态或领域时，算法首先利用未标注数据进行域适应，然后利用标注数据更新原型。4) 分类：对于新的输入数据，算法计算其特征与各个类别原型的距离，并将其分类到距离最近的类别。
关键创新：论文的关键创新在于提出了一种基于原型存储的增量式多模态融合学习算法。该算法能够有效地利用未标注数据进行域适应，并且仅需存储少量原型，从而降低了存储开销。此外，该算法还能够同时处理类增量和域增量学习场景，使其更适用于实际的机器人应用。
关键设计：算法的关键设计包括：1) 使用对比损失函数进行域适应，使得来自不同领域但属于同一类别的样本在特征空间中更加接近。2) 使用动量更新的方式更新原型，以提高原型的稳定性。3) 使用K近邻分类器进行分类，其中K的选择需要根据具体的数据集进行调整。
🖼️ 关键图片
📊 实验亮点
论文在自定义的多模态数据集和Core50数据集上进行了实验，结果表明该算法能够有效地学习不同的数据模态，并在增量学习场景下保持较高的分类精度。此外，论文还进行了一个实时的物体分类实验，验证了该算法在实际机器人应用中的可行性。消融实验结果表明，对比损失函数和动量更新对算法的性能有显著影响。
🎯 应用场景
该研究成果可应用于各种需要多模态数据融合的机器人任务，例如物体识别、抓取、操作等。特别是在数据分布不断变化的动态环境中，该算法能够持续学习并适应新的数据模态和领域，从而提高机器人的鲁棒性和泛化能力。此外，该算法还可以应用于其他领域，例如自动驾驶、医疗诊断等。
📄 摘要（原文）
Continual learning (CL) refers to the ability of an algorithm to continuously and incrementally acquire new knowledge from its environment while retaining previously learned information. A model trained on one data modality often fails when tested with a different modality. A straightforward approach might be to fuse the two modalities by concatenating their features and training the model on the fused data. However, this requires retraining the model from scratch each time it encounters a new domain. In this paper, we introduce a continual learning algorithm capable of incrementally learning different data modalities by leveraging both class-incremental and domain-incremental learning scenarios in an artificial environment where labeled data is scarce, yet non-iid (independent and identical distribution) unlabeled data from the environment is plentiful. The proposed algorithm is efficient and only requires storing prototypes for each class. We evaluate the algorithm's effectiveness on a challenging custom multimodal dataset comprising of tactile data from a soft pneumatic gripper, and visual data from non-stationary images of objects extracted from video sequences. Additionally, we conduct an ablation study on the custom dataset and the Core50 dataset to highlight the contributions of different components of the algorithm. To further demonstrate the robustness of the algorithm, we perform a real-time experiment for object classification using the soft gripper and an external independent camera setup, all synchronized with the Robot Operating System (ROS) framework.