Multimodal Generalized Category Discovery

📄 arXiv: 2409.11624v1 📥 PDF

作者: Yuchang Su, Renping Zhou, Siyu Huang, Xingjian Li, Tianyang Wang, Ziyue Wang, Min Xu

分类: cs.CV, cs.LG

发布日期: 2024-09-18

💡 一句话要点

提出MM-GCD框架，通过对齐特征和输出空间解决多模态广义类别发现问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 广义类别发现 对比学习 知识蒸馏 特征对齐 输出对齐 开放世界学习

📋 核心要点

  1. 现有广义类别发现方法主要集中于单模态数据，无法有效利用现实世界中普遍存在的多模态信息。
  2. MM-GCD框架通过对比学习和知识蒸馏，对齐不同模态的特征空间和输出空间，从而实现有效的信息融合。
  3. 实验结果表明，MM-GCD在多模态数据集上显著优于现有方法，性能提升显著。

📝 摘要（中文）

广义类别发现（GCD）旨在将输入分类为已知和新类别，这对于开放世界科学发现至关重要。然而，当前的GCD方法仅限于单模态数据，忽略了大多数现实世界数据的固有多模态性质。本文将GCD扩展到多模态设置，其中来自不同模态的输入提供更丰富和互补的信息。通过理论分析和实证验证，我们发现多模态GCD的关键挑战在于有效地对齐跨模态的异构信息。为了解决这个问题，我们提出了MM-GCD，这是一个新颖的框架，它使用对比学习和蒸馏技术对齐不同模态的特征和输出空间。MM-GCD在UPMC-Food101和N24News数据集上取得了新的state-of-the-art性能，分别超过了以前的方法11.5％和4.7％。

🔬 方法详解

问题定义：现有的广义类别发现（GCD）方法主要处理单模态数据，无法充分利用多模态数据中蕴含的互补信息。在多模态场景下，如何有效地对齐和融合来自不同模态的异构信息，是GCD面临的关键挑战。现有方法难以直接应用于多模态GCD，性能受限。

核心思路：本文的核心思路是通过对齐不同模态的特征空间和输出空间，从而实现多模态信息的有效融合。具体而言，利用对比学习来拉近不同模态在特征空间的表示，并使用知识蒸馏将一个模态的知识迁移到另一个模态，从而对齐输出空间。这种对齐策略旨在克服模态间的异构性，提升GCD的性能。

技术框架：MM-GCD框架主要包含以下几个模块：1) 多模态特征提取器：用于从不同模态的输入数据中提取特征表示。2) 特征空间对齐模块：利用对比学习，将不同模态的特征表示映射到统一的特征空间。3) 输出空间对齐模块：使用知识蒸馏，将一个模态的预测结果作为教师信号，指导另一个模态的学习。4) 分类器：基于对齐后的特征表示，将输入分类为已知或未知类别。

关键创新：MM-GCD的关键创新在于同时对齐特征空间和输出空间。传统的对比学习主要关注特征空间的对齐，而忽略了输出空间的差异。通过引入知识蒸馏，MM-GCD能够有效地对齐不同模态的预测结果，从而提升分类的准确性。这种双重对齐策略是MM-GCD优于现有方法的关键。

关键设计：在特征空间对齐模块中，使用了InfoNCE损失函数来最大化正样本对之间的互信息，并最小化负样本对之间的互信息。在输出空间对齐模块中，使用了KL散度损失函数来衡量学生模型（一个模态）的预测结果与教师模型（另一个模态）的预测结果之间的差异。此外，还使用了交叉熵损失函数来训练分类器。具体的网络结构和参数设置根据不同的数据集进行了调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MM-GCD在UPMC-Food101和N24News数据集上取得了显著的性能提升。在UPMC-Food101数据集上，MM-GCD的性能超过了现有最佳方法11.5%。在N24News数据集上，MM-GCD的性能超过了现有最佳方法4.7%。这些结果表明，MM-GCD能够有效地处理多模态数据，并提升广义类别发现的性能。

🎯 应用场景

该研究成果可应用于多种多模态数据分析场景，例如：多模态医学诊断（结合影像和文本报告）、多模态产品推荐（结合图像和用户评论）、多模态新闻分类（结合文本和图像）。通过有效融合多模态信息，可以提升分类的准确性和鲁棒性，为开放世界中的科学发现提供更强大的工具。

📄 摘要（原文）

Generalized Category Discovery (GCD) aims to classify inputs into both known and novel categories, a task crucial for open-world scientific discoveries. However, current GCD methods are limited to unimodal data, overlooking the inherently multimodal nature of most real-world data. In this work, we extend GCD to a multimodal setting, where inputs from different modalities provide richer and complementary information. Through theoretical analysis and empirical validation, we identify that the key challenge in multimodal GCD lies in effectively aligning heterogeneous information across modalities. To address this, we propose MM-GCD, a novel framework that aligns both the feature and output spaces of different modalities using contrastive learning and distillation techniques. MM-GCD achieves new state-of-the-art performance on the UPMC-Food101 and N24News datasets, surpassing previous methods by 11.5\% and 4.7\%, respectively.