CLUBench: A Clustering Benchmark
作者: Feng Xiao, Dazhi Fu, Chris Ding, Jicong Fan
分类: cs.LG
发布日期: 2026-05-28
💡 一句话要点
CLUBench：构建全面的聚类基准，促进算法选择与部署。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 聚类算法 基准测试 深度聚类 预训练嵌入 模型选择 性能评估 低秩结构
📋 核心要点
- 现有聚类算法繁多，但缺乏系统性的大规模评估，难以指导算法选择和实际部署。
- 构建包含多种算法和数据集的综合聚类基准CLUBench，分析不同因素对聚类性能的影响。
- 实验表明深度聚类方法平均性能不优于传统方法，预训练嵌入结合传统算法在图像和文本聚类中有效。
📝 摘要（中文）
聚类是数据科学中的一个基本问题，经过长期研究，涌现了许多有洞见的算法。然而，缺乏一个系统且大规模的经验评估，能够联合考虑传统算法、基于深度学习的方法以及最近基于基础模型的聚类，这限制了算法选择和部署的指导。为了解决这个问题，我们推出了CLUBench，这是一个全面的聚类基准，包含24种不同原理的算法，并在表格数据、文本数据和图像数据上的131个数据集上进行了评估，涉及178,815次实验。重要的是，我们对以下方面的分析：（i）超参数调整的影响，（ii）数据类型和特征的影响，（iii）预训练嵌入的影响，（iv）基于大型语言模型的聚类，（v）算法的相似性，以及（vi）性能矩阵的低秩结构，产生了有意义的见解和有希望的聚类研究途径。例如，我们的研究表明：1）在平均性能方面，所有评估的深度聚类方法与表现最佳的传统聚类算法（例如，KMeans，SpeClu）相比，没有表现出显着优势；2）对于图像和文本聚类任务，将预训练嵌入与传统聚类算法（例如，KMeans，SpeClu）相结合可提供有效且高效的聚类；3）即使在日益占据主导地位的基础模型时代，聚类仍然是一个具有挑战性和重要性的问题。此外，我们建议使用跨模型性能矩阵中的低秩结构来有效地近似实际应用中的整体性能评估。我们进一步证明了基于所有超参数配置的性能矩阵进行模型选择的可行性。
🔬 方法详解
问题定义：现有聚类算法种类繁多，包括传统算法、深度学习算法以及基于新兴基础模型的算法。然而，缺乏一个统一的、大规模的基准测试来对这些算法进行综合评估和比较。这导致在实际应用中，难以选择合适的聚类算法，也阻碍了聚类算法的进一步发展。现有方法缺乏对超参数调整、数据类型、预训练嵌入等因素的系统性分析。
核心思路：构建一个全面的聚类基准测试平台，包含多种类型的聚类算法和数据集，通过大量的实验来评估不同算法在不同场景下的性能。通过分析实验结果，揭示不同因素对聚类性能的影响，为算法选择和优化提供指导。利用性能矩阵的低秩结构来近似整体性能评估，加速模型选择过程。
技术框架：CLUBench包含以下几个主要组成部分：1）聚类算法库：收集了24种具有代表性的聚类算法，涵盖传统算法（如KMeans、谱聚类）、深度学习算法和基于基础模型的算法。2）数据集：包含了131个数据集，涵盖表格数据、文本数据和图像数据，具有多样的数据特征。3）评估指标：采用多种聚类评估指标，如准确率、归一化互信息等，全面评估聚类性能。4）实验平台：提供统一的实验环境，方便用户进行算法评估和比较。
关键创新：1）构建了一个大规模、全面的聚类基准测试平台，填补了该领域的空白。2）对超参数调整、数据类型、预训练嵌入等因素对聚类性能的影响进行了系统性分析，揭示了有价值的结论。3）提出了利用性能矩阵的低秩结构来近似整体性能评估的方法，提高了模型选择的效率。
关键设计：在实验设计方面，作者考虑了不同数据类型（表格、文本、图像）和不同算法类型（传统、深度学习、基础模型）。对于每个算法，都进行了超参数调优，以获得最佳性能。在性能评估方面，采用了多种评估指标，以全面评估聚类效果。对于性能矩阵的低秩结构分析，采用了奇异值分解等方法。
🖼️ 关键图片
📊 实验亮点
实验结果表明，深度聚类方法在平均性能上并没有显著优于传统的聚类算法，如KMeans和谱聚类。对于图像和文本聚类任务，将预训练嵌入与传统聚类算法相结合可以获得有效且高效的聚类效果。此外，研究还发现，即使在基础模型时代，聚类仍然是一个具有挑战性的问题。通过分析性能矩阵的低秩结构，可以有效地近似整体性能评估，加速模型选择过程。
🎯 应用场景
该研究成果可广泛应用于数据挖掘、机器学习、模式识别等领域。通过CLUBench，研究人员和工程师可以更方便地评估和选择合适的聚类算法，从而提高数据分析和处理的效率和准确性。该基准测试平台还有助于推动聚类算法的进一步发展，促进相关技术的创新。
📄 摘要（原文）
Clustering is a fundamental problem in data science with a long-standing research history, yielding numerous insightful algorithms. Despite this progress, a systematic and large-scale empirical evaluation that jointly considers conventional algorithms, deep learning-based methods, and recent foundation model-based clustering remains largely absent, leading to limited guidance on algorithm selection and deployment. To address this gap, we introduce CLUBench, a comprehensive clustering benchmark comprising 24 algorithms of diverse principles evaluated on 131 datasets across tabular, text, and image data, involving 178,815 experiments. Importantly, our analyses of (i) the impact of hyperparameter tuning,(ii) the impact of data types and characteristics,(iii) the impact of pretrained embeddings,(iv) large language model-based clustering,(v) the similarity of algorithms, and (vi) the low-rank structures of performance matrices, yield meaningful insights and promising pathways for clustering research. For instance, our study reveals that: 1) All evaluated deep clustering methods do not exhibit a significant advantage compared with the top-performing conventional clustering algorithms (e.g., KMeans, SpeClu) in terms of average performance; 2) For image and text clustering tasks, combining pretrained embeddings with conventional clustering algorithms (e.g., KMeans, SpeClu) offers effective and efficient clustering; 3) Clustering remains a challenging and nontrivial problem, even in the era of increasingly dominant foundation models. Moreover, we propose to use the low-rank structure in cross-model performance matrices to efficiently approximate the overall performance evaluation in practical applications. We further demonstrate the feasibility of model selection based on the performance matrices across all hyperparameter configurations.