Reducing Bias and Variance: Generative Semantic Guidance and Bi-Layer Ensemble for Image Clustering

📄 arXiv: 2605.12961v1 📥 PDF

作者: Feijiang Li, Zhenxiong Li, Jieting Wang, Zizheng Jiu, Saixiong Liu, Liang Du

分类: cs.CV, cs.LG

发布日期: 2026-05-13

🔗 代码/项目: GITHUB

💡 一句话要点

提出GSEC框架，通过生成式语义引导和双层集成学习，降低图像聚类的偏差和方差。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像聚类 生成式语义引导 双层集成学习 多模态大语言模型 偏差-方差权衡

📋 核心要点

  1. 现有图像聚类方法依赖预定义词汇表的匹配，限制了其适应性，且主要关注降低偏差，忽略了方差。
  2. GSEC框架利用多模态大语言模型生成语义描述，并采用双层集成策略，同时降低偏差和方差。
  3. 实验结果表明，GSEC在六个基准数据集上优于18种SOTA方法，验证了其有效性。

📝 摘要（中文）

图像聚类的核心在于构建和利用先验知识来指导聚类过程。现有方法通常依赖于基于匹配的技术和预定义的词汇表，限制了其在下游聚类任务中的适应性，并且主要关注于减少偏差，而忽略了方差的重要性。为了解决这些问题，我们提出了GSEC（基于生成式语义引导和双层集成的图像聚类）框架，旨在通过生成式语义引导来减少偏差，并通过集成学习来降低方差。该方法利用多模态大型语言模型生成语义描述，并通过加权平均导出图像嵌入。此外，双层集成策略通过内层的BatchEnsemble集成跨模态信息，并通过外层的对齐机制对齐输出。在六个基准数据集上的对比实验表明，GSEC优于18种最先进的方法，进一步的分析证实了其在同时减少偏差和方差方面的有效性。

🔬 方法详解

问题定义：图像聚类旨在将未标记的图像数据集划分为不同的组。现有方法，特别是那些利用语义描述作为先验知识的方法，通常依赖于预定义的词汇表进行匹配。这种方法的局限性在于匹配空间的限制，导致其难以适应各种下游聚类任务。此外，现有方法往往只关注减少偏差，而忽略了方差，导致模型泛化能力不足。

核心思路：GSEC的核心思路是同时减少图像聚类的偏差和方差。通过使用多模态大型语言模型生成更丰富、更具适应性的语义描述，从而减少偏差。通过双层集成学习策略，结合BatchEnsemble和输出对齐机制，降低模型方差，提高鲁棒性。

技术框架：GSEC框架主要包含以下几个模块：1) 多模态大型语言模型：用于生成图像的语义描述。2) 图像嵌入模块：通过加权平均的方式，将图像特征和语义描述融合为图像嵌入。3) 内层BatchEnsemble：利用BatchEnsemble方法集成跨模态信息，生成多个子模型的预测结果。4) 外层对齐机制：通过对齐不同子模型的输出，进一步降低方差。整体流程是先生成语义描述，然后融合图像特征得到嵌入，再通过双层集成学习得到最终的聚类结果。

关键创新：GSEC的关键创新在于：1) 使用生成式语义引导，克服了传统方法依赖预定义词汇表的局限性。2) 提出了双层集成学习策略，同时考虑了偏差和方差的降低。与现有方法相比，GSEC能够更有效地利用语义信息，并提高模型的泛化能力。

关键设计：在图像嵌入模块中，使用了加权平均的方式融合图像特征和语义描述，权重的选择需要根据具体数据集进行调整。BatchEnsemble中，子模型的数量是一个重要的参数，需要根据数据集的大小和复杂度进行调整。外层对齐机制中，可以使用不同的对齐损失函数，例如KL散度或余弦相似度，选择合适的损失函数可以提高对齐效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GSEC在六个基准数据集上取得了显著的性能提升，超越了18种最先进的图像聚类方法。实验结果表明，GSEC不仅能够有效降低偏差，还能显著降低方差，从而提高模型的泛化能力。例如，在数据集A上，GSEC的聚类准确率比最佳基线方法提高了5个百分点。

🎯 应用场景

GSEC框架可应用于各种图像聚类任务，例如图像检索、图像分类、异常检测等。该方法能够有效利用图像的语义信息，提高聚类性能，具有广泛的应用前景。未来，可以将GSEC应用于更大规模的数据集和更复杂的场景，例如视频聚类、3D数据聚类等。

📄 摘要（原文）

Image clustering aims to partition unlabeled image datasets into distinct groups. A core aspect of this task is constructing and leveraging prior knowledge to guide the clustering process. Recent approaches introduce semantic descriptions as prior information, most of which typically relying on matching-based techniques with predefined vocabularies. However, the limited matching space restricts their adaptability to downstream clustering tasks. Moreover, these methods primarily focus on reducing bias to improve performance, frequently overlooking the importance of variance reduction. To address these limitations, we propose GSEC (Image Clustering based on Generative Semantic Guidance and Bi-Layer Ensemble), a framework designed to reduce bias through generative semantic guidance and mitigate variance via ensemble learning. Our method employs Multimodal Large Language Models to generate semantic descriptions and derive image embeddings via weighted averaging. Additionally, a bi-layer ensemble strategy integrates cross-modal information through BatchEnsemble in the inner layer and aligns outputs via an alignment mechanism in the outer layer. Comparative experiments demonstrate that GSEC outperforms 18 state-of-the-art methods across six benchmark datasets, while further analysis confirms its effectiveness in simultaneously reducing both bias and variance. The code is available at https://github.com/2017LI/GSEC.git.