CIM-Embed: Learning Instruction-Conditioned Multimodal Embeddings for Clustering

📄 arXiv: 2610.21805v1 📥 PDF

作者: Yinghua Xu, Pengyang Xie, Yanxiang Zhou, Chuanzhi Tong, Xiao Xiao, Chaoqun Feng, Xiaoqing Wang

分类: cs.AI, cs.LG

发布日期: 2026-10-15

备注: 40 pages, including references and appendices

💡 一句话要点

提出CIM-Embed以解决多模态聚类中的指令依赖问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态嵌入 聚类算法 监督对比学习 HDBSCAN 指令条件聚类 电商应用 数据集构建

📋 核心要点

  1. 现有方法在处理多模态对象时，无法有效应对不同指令下的聚类需求，导致聚类效果不佳。
  2. CIM-Embed框架通过学习指令条件的多模态嵌入，结合监督对比学习和异构结构批次，提升聚类性能。
  3. 实验结果显示，CIM-Embed在任务V-measure上达到95.01，显著优于最强基线WeMM 9B的53.06，展示了其有效性。

📝 摘要（中文）

多模态对象在不同指令下可能需要不同的分区，例如电商目录中的产品按颜色、材质或两者分组。传统的检索导向嵌入可能无法恢复这些分区，而生成聚类通常依赖于中间描述或迭代决策。本文提出了CIM-Embed框架，旨在学习指令条件下的多模态嵌入以进行聚类。通过监督对比学习，使用来自其他组的同组正样本和负样本，选项包括其他任务；异构结构批次适应不同组数的任务。在推理阶段，模型将每个对象的图像、文本和指令直接映射到嵌入，HDBSCAN随后在没有真实聚类计数的情况下形成分区。我们构建了ProductMIC数据集，包含来自2023年亚马逊评论的产品元数据，为指令条件聚类提供训练数据和评估基准。

🔬 方法详解

问题定义：本文旨在解决多模态对象在不同指令下的聚类问题，现有方法在处理多模态数据时，无法有效恢复不同指令下的分区，导致聚类效果不理想。

核心思路：CIM-Embed框架通过学习指令条件的多模态嵌入，利用监督对比学习来增强模型对不同聚类任务的适应性，设计上考虑了多种任务的异构性。

技术框架：整体架构包括三个主要模块：首先，模型将图像、文本和指令映射到嵌入空间；其次，采用监督对比学习进行训练；最后，使用HDBSCAN进行聚类，无需真实聚类计数。

关键创新：最重要的创新在于引入了指令条件的多模态嵌入学习，结合异构结构批次的设计，使得模型能够在多样化的任务中保持高效的聚类性能。

关键设计：在训练过程中，使用同组正样本和来自其他组的负样本进行对比，损失函数设计为监督对比损失，确保模型能够有效区分不同类别的样本。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，CIM-Embed在指令条件聚类任务中表现优异，任务V-measure达到95.01，相较于最强基线WeMM 9B的53.06，提升幅度显著，展示了其在多模态聚类中的有效性和优势。

🎯 应用场景

CIM-Embed框架具有广泛的应用潜力，特别是在电商、社交媒体和内容推荐等领域，可以根据用户的不同指令进行精准的多模态数据聚类，提升用户体验和产品推荐的准确性。未来，该研究还可能推动智能搜索和信息检索系统的发展。

📄 摘要（原文）

Multimodal objects can require different partitions under different instructions, as when products in an e-commerce catalog are grouped by color, material, or both. Retrieval-oriented embeddings may not recover these partitions, while generative clustering often relies on intermediate descriptions or iterative decisions. This paper presents CIM-Embed, a framework for learning instruction-conditioned multimodal embeddings for clustering. Supervised contrastive learning uses same-group positives and negatives from other groups, optionally including other tasks; heterogeneous structured batches accommodate tasks with different group counts. At inference, the model maps each object's image, text, and instruction directly to an embedding; HDBSCAN then forms a partition without the ground-truth cluster count. We construct ProductMIC from product metadata in Amazon Reviews 2023, comprising training data and an evaluation benchmark for instruction-conditioned clustering. The benchmark contains 5,373 products and 449 single-attribute and compositional grouping tasks spanning 50 leaf categories excluded from our training. With full-dimensional embeddings and HDBSCAN, direct within-task SupCon training achieves a mean per-task V-measure of 95.01, compared with 53.06 for WeMM 9B, the strongest general-purpose embedding baseline evaluated. Frozen product-trained encoders also improve out-of-domain conditional grouping, while controlled transfer experiments distinguish partition transfer from instruction response. We will release the code and dataset upon acceptance.