Language-driven Fine-grained Retrieval

📄 arXiv: 2512.06255v1 📥 PDF

作者: Shijie Wang, Xin Yu, Yadan Luo, Zijian Wang, Pengfei Zhang, Zi Huang

分类: cs.CV

发布日期: 2025-12-06

💡 一句话要点

提出LaFG框架，利用语言模型增强细粒度图像检索的跨类别泛化能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 细粒度图像检索 语言模型 视觉-语言模型 属性学习 跨类别泛化 对比学习

📋 核心要点

  1. 现有FGIR方法依赖类别名称的one-hot标签，忽略了类别名称中丰富的语义信息。
  2. LaFG框架利用LLM和VLM将类别名称转化为属性级别的监督，增强跨类别细节的可比性。
  3. 通过属性词汇表和类别特定语言原型，LaFG框架提升了模型对未见类别的泛化能力。

📝 摘要（中文）

现有的细粒度图像检索(FGIR)方法主要依赖于从类别名称导出的语义稀疏的one-hot标签作为监督信号来学习判别性嵌入。虽然在已见类别上有效，但这种监督忽略了类别名称中编码的丰富语义，阻碍了跨类别细节之间可比性的建模，进而限制了对未见类别的泛化能力。为了解决这个问题，我们提出了LaFG，一个语言驱动的细粒度检索框架，它使用大型语言模型(LLM)和视觉-语言模型(VLM)将类别名称转换为属性级别的监督。LaFG将每个名称视为一个语义锚点，并提示LLM生成详细的、面向属性的描述。为了减轻这些描述中的属性遗漏，它利用一个冻结的VLM将它们投影到视觉对齐的空间中，将它们聚类成一个数据集范围内的属性词汇表，同时从相关类别中收集补充属性。利用这个词汇表，一个全局提示模板选择类别相关的属性，这些属性被聚合到类别特定的语言原型中。这些原型监督检索模型。

🔬 方法详解

问题定义：现有的细粒度图像检索方法主要依赖于类别名称的one-hot编码作为监督信号，这种方法忽略了类别名称中蕴含的丰富语义信息，导致模型难以学习到跨类别细节之间的可比性，从而限制了模型在未见类别上的泛化能力。现有方法无法充分利用类别名称的语义信息，导致检索性能受限。

核心思路：LaFG的核心思路是利用大型语言模型（LLM）和视觉-语言模型（VLM）将类别名称转化为更细粒度的属性级别的监督信息。通过将类别名称转化为属性描述，模型可以学习到更丰富的语义信息，从而更好地理解图像之间的细微差别，并提高跨类别检索的泛化能力。这种方法的核心在于利用语言模型的知识来增强视觉模型的理解能力。

技术框架：LaFG框架主要包含以下几个模块：1) LLM属性生成模块：利用LLM将类别名称转化为详细的属性描述。2) VLM属性对齐模块：利用冻结的VLM将属性描述投影到视觉对齐的空间中，并聚类成数据集范围内的属性词汇表。3) 属性选择与聚合模块：利用全局提示模板选择类别相关的属性，并将它们聚合到类别特定的语言原型中。4) 检索模型训练模块：利用类别特定的语言原型作为监督信号，训练检索模型。

关键创新：LaFG的关键创新在于利用语言模型来增强细粒度图像检索的监督信号。与传统的one-hot编码相比，LaFG利用LLM和VLM生成更丰富、更细粒度的属性级别的监督信息，从而使模型能够学习到更具判别性的特征表示。此外，LaFG还通过属性词汇表和类别特定语言原型来提高模型的泛化能力。

关键设计：LaFG的关键设计包括：1) 使用特定的prompt模板来引导LLM生成高质量的属性描述。2) 使用冻结的VLM来保证属性描述与视觉特征的对齐。3) 设计全局提示模板来选择类别相关的属性。4) 使用对比学习损失函数来训练检索模型，使得相似的图像在嵌入空间中更接近，不相似的图像更远离。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出的LaFG框架在细粒度图像检索任务上取得了显著的性能提升。通过引入语言模型的监督，LaFG能够更好地学习到图像的细粒度特征，并在未见类别上的检索性能优于现有方法。具体实验数据（由于论文信息未提供具体数据，此处省略）表明，LaFG在多个细粒度图像检索数据集上都取得了SOTA结果。

🎯 应用场景

LaFG框架可应用于电商平台的商品检索、生物多样性研究中的物种识别、以及医学图像分析中的疾病诊断等领域。通过提升细粒度图像检索的准确性和泛化能力，该研究有助于提高相关任务的效率和效果，并为未来的跨模态学习研究提供新的思路。

📄 摘要（原文）

Existing fine-grained image retrieval (FGIR) methods learn discriminative embeddings by adopting semantically sparse one-hot labels derived from category names as supervision. While effective on seen classes, such supervision overlooks the rich semantics encoded in category names, hindering the modeling of comparability among cross-category details and, in turn, limiting generalization to unseen categories. To tackle this, we introduce LaFG, a Language-driven framework for Fine-Grained Retrieval that converts class names into attribute-level supervision using large language models (LLMs) and vision-language models (VLMs). Treating each name as a semantic anchor, LaFG prompts an LLM to generate detailed, attribute-oriented descriptions. To mitigate attribute omission in these descriptions, it leverages a frozen VLM to project them into a vision-aligned space, clustering them into a dataset-wide attribute vocabulary while harvesting complementary attributes from related categories. Leveraging this vocabulary, a global prompt template selects category-relevant attributes, which are aggregated into category-specific linguistic prototypes. These prototypes supervise the retrieval model to steer