Towards Vision-Free CIR: Attribute-Augmented Scoring and LLM-Based Reranking for Zero-Shot Composed Image Retrieval

📄 arXiv: 2607.12621v1 📥 PDF

作者: Ryotaro Shimada, Yu-Chieh Lin, Yuji Nozawa, Youyang Ng, Osamu Torii, Yusuke Matsui

分类: cs.CV, cs.IR

发布日期: 2026-07-14

💡 一句话要点

提出视觉无关的CIR框架以解决复杂图像检索问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉无关 组合图像检索 属性增强 大语言模型 多模态检索 语义一致性 图像检索

📋 核心要点

  1. 现有的视觉无关方法在处理组合图像检索时，因文本描述导致信息损失，难以有效应对复杂任务。
  2. 本文提出的解决方案包括属性增强混合评分和基于大语言模型的重排序，旨在提高检索的准确性和语义一致性。
  3. 实验结果显示，提出的方法在CIRR数据集上实现了44.04%的R@1，较现有方法提升了8.79%。

📝 摘要（中文）

近年来的研究表明，'视觉无关'的方法（将图像表示为文本）在标准图像检索任务中是有效的。然而，这种范式在处理更复杂的多模态任务——组合图像检索（CIR）时，因文本描述固有的信息损失而面临挑战。本文提出了一种视觉无关的CIR框架，通过两个关键技术来应对这一挑战：1）属性增强的混合评分，通过显式属性匹配来弥补视觉细节的丢失；2）基于大语言模型的重排序，验证前候选者的语义一致性。在开放域CIRR数据集上的实验表明，我们的方法优于现有的零-shot CIR方法（R@1达到44.04%，提升8.79%）。在FashionIQ数据集上，结果突显了语义推理与细粒度视觉匹配之间的权衡。消融研究表明，属性增强评分和基于LLM的重排序均能持续提高性能。

🔬 方法详解

问题定义：本文旨在解决组合图像检索（CIR）中由于文本描述导致的视觉信息损失问题。现有的视觉无关方法在复杂的多模态任务中表现不佳，无法有效捕捉图像的细节和语义。

核心思路：论文提出通过属性增强的混合评分来补偿视觉细节的丢失，并利用基于大语言模型的重排序来验证候选图像的语义一致性，从而提升检索性能。

技术框架：整体架构包括两个主要模块：属性增强混合评分模块和基于LLM的重排序模块。前者通过显式属性匹配来提高评分的准确性，后者则对前候选者进行语义一致性验证。

关键创新：最重要的技术创新在于引入属性增强评分机制和LLM重排序策略，这与传统的视觉检索方法形成了鲜明对比，能够更好地处理复杂的多模态信息。

关键设计：在设计中，属性增强评分使用了多种视觉属性进行匹配，重排序模块则采用了预训练的大语言模型，以确保语义的一致性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的方法在CIRR数据集上实现了44.04%的R@1，较现有的零-shot CIR方法提升了8.79%。在FashionIQ数据集上，研究揭示了语义推理与细粒度视觉匹配之间的权衡，进一步验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括电子商务、社交媒体和数字内容管理等，能够有效提升图像检索的准确性和用户体验。未来，随着多模态技术的发展，该框架可能在更广泛的领域中得到应用，推动智能检索系统的进步。

📄 摘要（原文）

Recent work has shown that "Vision-Free'' approaches (representing images as text) can be effective for standard image retrieval tasks. However, it remains unclear whether this paradigm can effectively handle a more complex, multimodal task, Composed Image Retrieval (CIR), due to the inherent information loss in textual descriptions. In this paper, we introduce a Vision-Free CIR framework that addresses this challenge through two key techniques: (1) Attribute-Augmented Hybrid Scoring, which compensates for lost visual details via explicit attribute matching, and (2) LLM-Based Reranking, which verifies semantic consistency of top candidates. Experiments on the open-domain CIRR dataset show that our approach outperforms existing Zero-shot CIR methods (44.04% R@1, +8.79%). On FashionIQ, our results highlight the trade-off between semantic reasoning and fine-grained visual matching. Ablation studies reveal that both attribute-augmented scoring and LLM-Based Reranking consistently improve performance.