Cross-Modality Clustering-based Self-Labeling for Multimodal Data Classification

📄 arXiv: 2408.02568v1 📥 PDF

作者: Paweł Zyblewski, Leandro L. Minku

分类: cs.LG, cs.CV

发布日期: 2024-08-05

备注: 10 pages, 5 figures, 9 tables

💡 一句话要点

提出基于跨模态聚类的自标记方法CMCSL，解决多模态数据分类中的标注难题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 半监督学习 自标记 跨模态聚类 标签传播

📋 核心要点

  1. 多模态数据标注成本高昂，限制了模型泛化能力，现有半监督方法忽略了模态间互补信息的利用。
  2. CMCSL通过跨模态聚类和标签传播，利用少量预标记数据，实现更可靠的自标记。
  3. 实验表明，CMCSL在少量预标记数据下，能有效提升各模态的分类性能，验证了跨模态标签传播的有效性。

📝 摘要（中文）

本文提出了一种基于跨模态聚类的自标记方法(CMCSL)，旨在解决多模态数据分类中标签标注成本高昂的问题。CMCSL利用少量预标记数据，在深度特征空间中对每个模态的实例进行聚类，并在聚类内部传播已知的标签。然后，基于欧几里得距离，在不同模态之间交换实例的类别信息，以确保更准确的标签。在从MM-IMDb数据集衍生的20个数据集上进行的实验评估表明，模态之间的标签交叉传播，尤其是在预标记实例数量较少时，可以实现更可靠的标签，从而提高每个模态的分类性能。

🔬 方法详解

问题定义：论文旨在解决多模态数据分类中人工标注成本高昂的问题。现有半监督学习方法通常直接融合多模态特征，忽略了各模态自身蕴含的互补信息，导致标签传播不够准确，尤其是在预标记数据量较少的情况下，模型性能提升有限。

核心思路：CMCSL的核心思路是利用各模态自身的特征空间进行聚类，并在聚类内部进行标签传播，然后通过跨模态的信息交换来修正和完善标签。这种方法充分利用了各模态的独立性和互补性，从而提高自标记的准确性。

技术框架：CMCSL的整体流程如下：1) 使用少量预标记数据，针对每个模态，学习一个深度特征提取器。2) 在每个模态的深度特征空间中，使用聚类算法（如K-means）将实例分组。3) 在每个模态的聚类内部，将预标记数据的标签传播给同一簇中的未标记数据。4) 基于实例在不同模态特征空间中的欧几里得距离，进行跨模态的标签信息交换，修正初始的自标记结果。

关键创新：CMCSL的关键创新在于提出了跨模态聚类和标签传播的机制。与传统的半监督学习方法相比，CMCSL没有直接融合多模态特征，而是充分利用了各模态的独立性和互补性，通过聚类和信息交换，实现了更准确的自标记。这种方法尤其适用于预标记数据量较少的情况。

关键设计：CMCSL的关键设计包括：1) 使用深度学习模型提取各模态的特征，保证特征的表达能力。2) 使用聚类算法将各模态的实例分组，方便标签传播。3) 使用欧几里得距离作为跨模态信息交换的度量，简单有效。4) 损失函数的设计需要考虑预标记数据的监督损失和自标记数据的置信度损失，以平衡两种数据的贡献。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MM-IMDb数据集的实验结果表明，CMCSL在少量预标记数据的情况下，能够显著提升各模态的分类性能。尤其是在预标记数据比例较低时，CMCSL的性能提升更为明显，验证了跨模态标签传播的有效性。具体性能数据未知，但结论是CMCSL优于直接融合特征的半监督学习方法。

🎯 应用场景

CMCSL适用于需要处理多模态数据，但标注成本高昂的场景，例如：多媒体内容分析（视频、音频、文本），医学图像诊断（CT、MRI、病理图像），以及机器人感知（视觉、触觉、听觉）。该方法可以降低人工标注成本，提高模型泛化能力，促进相关领域的发展。

📄 摘要（原文）

Technological advances facilitate the ability to acquire multimodal data, posing a challenge for recognition systems while also providing an opportunity to use the heterogeneous nature of the information to increase the generalization capability of models. An often overlooked issue is the cost of the labeling process, which is typically high due to the need for a significant investment in time and money associated with human experts. Existing semi-supervised learning methods often focus on operating in the feature space created by the fusion of available modalities, neglecting the potential for cross-utilizing complementary information available in each modality. To address this problem, we propose Cross-Modality Clustering-based Self-Labeling (CMCSL). Based on a small set of pre-labeled data, CMCSL groups instances belonging to each modality in the deep feature space and then propagates known labels within the resulting clusters. Next, information about the instances' class membership in each modality is exchanged based on the Euclidean distance to ensure more accurate labeling. Experimental evaluation conducted on 20 datasets derived from the MM-IMDb dataset indicates that cross-propagation of labels between modalities -- especially when the number of pre-labeled instances is small -- can allow for more reliable labeling and thus increase the classification performance in each modality.