Incomplete Contrastive Multi-View Clustering with High-Confidence Guiding

📄 arXiv: 2312.08697v1 📥 PDF

作者: Guoqing Chao, Yi Jiang, Dianhui Chu

分类: cs.CV, cs.LG

发布日期: 2023-12-14

备注: 11pages, and it has been accepted by AAAI 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出ICMVC方法，通过高置信度引导解决不完整多视图聚类问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 不完整多视图聚类 对比学习 图卷积网络 注意力机制 缺失值处理

📋 核心要点

  1. 现有不完整多视图聚类方法未能充分利用多视图信息处理缺失值，且忽略了视图间的互补信息。
  2. ICMVC方法通过多视图一致性关系传递、图卷积网络、实例级注意力融合和对比学习来解决上述问题。
  3. 实验结果表明，ICMVC方法在不完整多视图聚类任务上优于现有方法，证明了其有效性和优越性。

📝 摘要（中文）

不完整多视图聚类是一个重要的研究问题，因为具有缺失值多视图数据在现实应用中普遍存在。尽管在不完整多视图聚类方面已经做出了很大的努力，但仍然存在一些挑战：1) 大多数现有方法没有充分利用多视图信息来处理缺失值；2) 大多数方法只利用多视图数据中的一致信息，而忽略了互补信息；3) 对于现有的不完整多视图聚类方法，不完整多视图表示学习和聚类被视为独立的过程，导致性能差距。在这项工作中，我们提出了一种新的具有高置信度引导的不完整对比多视图聚类方法(ICMVC)。首先，我们提出了一种多视图一致性关系传递加图卷积网络来解决缺失值问题。其次，提出了实例级注意力融合和高置信度引导来利用互补信息，同时设计了用于潜在表示的实例级对比学习来利用一致信息。第三，提出了一个端到端框架，将多视图缺失值处理、多视图表示学习和聚类分配集成在一起进行联合优化。与最先进的方法相比，实验证明了我们方法的有效性和优越性。我们的代码已在https://github.com/liunian-Jay/ICMVC上公开。

🔬 方法详解

问题定义：论文旨在解决不完整多视图聚类问题，即当多视图数据存在缺失值时，如何有效地进行聚类。现有方法的痛点在于：1) 未充分利用多视图信息处理缺失值；2) 忽略了视图间的互补信息；3) 将表示学习和聚类视为独立过程，导致性能下降。

核心思路：论文的核心思路是利用多视图的一致性和互补性信息，通过高置信度引导和对比学习，实现更鲁棒和准确的聚类。通过多视图一致性关系传递和图卷积网络来填补缺失值，利用实例级注意力融合来挖掘互补信息，并采用实例级对比学习来提取一致信息。

技术框架：ICMVC方法采用端到端框架，包含三个主要模块：1) 多视图缺失值处理模块，使用多视图一致性关系传递和图卷积网络来填补缺失值；2) 多视图表示学习模块，使用实例级注意力融合和对比学习来学习潜在表示；3) 聚类分配模块，将学习到的潜在表示用于聚类。这三个模块联合优化，以实现更好的聚类效果。

关键创新：ICMVC的关键创新点在于：1) 提出多视图一致性关系传递加图卷积网络来处理缺失值；2) 提出实例级注意力融合和高置信度引导来利用互补信息；3) 采用端到端框架，将缺失值处理、表示学习和聚类分配集成在一起进行联合优化。与现有方法相比，ICMVC更有效地利用了多视图信息，提高了聚类性能。

关键设计：在多视图一致性关系传递中，使用图卷积网络来传播信息。实例级注意力融合模块使用注意力机制来学习不同视图的权重。对比学习模块使用InfoNCE损失函数来最大化正样本之间的相似性，最小化负样本之间的相似性。高置信度引导机制利用聚类结果的置信度来指导表示学习。

📊 实验亮点

实验结果表明，ICMVC方法在多个数据集上优于state-of-the-art的不完整多视图聚类方法。例如，在数据集XXX上，ICMVC的聚类准确率比最佳基线方法提高了X%。实验结果验证了ICMVC方法在处理缺失值和利用多视图信息方面的有效性。

🎯 应用场景

该研究成果可应用于多种存在数据缺失的多视图聚类场景，例如社交网络分析（用户属性缺失）、医学图像分析（模态数据缺失）、多媒体内容理解（部分媒体信息缺失）等。通过更有效地处理缺失数据，可以提升聚类效果，从而为后续分析和决策提供更准确的基础。

📄 摘要（原文）

Incomplete multi-view clustering becomes an important research problem, since multi-view data with missing values are ubiquitous in real-world applications. Although great efforts have been made for incomplete multi-view clustering, there are still some challenges: 1) most existing methods didn't make full use of multi-view information to deal with missing values; 2) most methods just employ the consistent information within multi-view data but ignore the complementary information; 3) For the existing incomplete multi-view clustering methods, incomplete multi-view representation learning and clustering are treated as independent processes, which leads to performance gap. In this work, we proposed a novel Incomplete Contrastive Multi-View Clustering method with high-confidence guiding (ICMVC). Firstly, we proposed a multi-view consistency relation transfer plus graph convolutional network to tackle missing values problem. Secondly, instance-level attention fusion and high-confidence guiding are proposed to exploit the complementary information while instance-level contrastive learning for latent representation is designed to employ the consistent information. Thirdly, an end-to-end framework is proposed to integrate multi-view missing values handling, multi-view representation learning and clustering assignment for joint optimization. Experiments compared with state-of-the-art approaches demonstrated the effectiveness and superiority of our method. Our code is publicly available at https://github.com/liunian-Jay/ICMVC.