From Transformation to Target State: Rethinking Query Representation for Zero-Shot Composed Image Retrieval

📄 arXiv: 2610.05993v1 📥 PDF

作者: Yihe Zhao, Songhe Feng

分类: cs.CV

发布日期: 2026-10-05

备注: 24 pages, 8 figures, including appendices

💡 一句话要点

提出ASAP-CIR框架以解决零-shot复合图像检索问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 复合图像检索 零-shot学习 多模态学习 目标状态重建 视觉-语言模型

📋 核心要点

  1. 现有的零-shot复合图像检索方法在表示上存在不对称性，导致检索效果不佳。
  2. 本文提出ASAP-CIR框架，通过重建目标状态表示来解决表示不匹配的问题。
  3. 实验表明，静态目标查询形式在FashionIQ、CIRR和CIRCO数据集上表现优于动态查询形式，尤其在多目标检索中效果显著。

📝 摘要（中文）

复合图像检索（CIR）旨在从包含参考图像和修改文本的查询中检索所需目标图像。该任务存在一种不寻常的表示不对称性：修改文本指定了从参考状态的过渡，而检索候选图像则描绘了完成的目标状态。这种表示不匹配对直接使用转化导向语言查询预训练视觉-语言空间的零-shot方法造成了挑战。本文重新构思了零-shot复合图像检索，将其重构为目标状态重建后再进行检索。我们提出了ASAP-CIR框架，利用冻结的多模态大型语言模型（MLLM）重建静态目标表示，结合多个整体描述和一组可变的重要性加权原子语义，从而保留整体目标身份和细粒度视觉约束。实验结果表明，目标侧静态查询形式在检索中表现更为可靠，尤其是在源状态语义需要被抑制或转化时。

🔬 方法详解

问题定义：本文解决零-shot复合图像检索中的表示不匹配问题，现有方法在处理参考图像与修改文本的转换时效果不佳，导致检索准确性降低。

核心思路：通过将零-shot复合图像检索重构为目标状态重建，利用冻结的多模态大型语言模型（MLLM）生成静态目标表示，从而有效整合整体描述与细粒度语义。

技术框架：ASAP-CIR框架包括目标状态重建和检索两个主要阶段。首先，利用MLLM生成目标状态的静态表示；其次，进行检索时结合整体状态对齐、原子约束定位和目标状态证据聚合。

关键创新：最重要的创新在于提出了静态目标查询形式，区别于传统的动态查询形式，这种设计有效减少了源状态语义的干扰，提高了检索的可靠性。

关键设计：在框架中，使用了重要性加权的原子语义来增强目标表示的细粒度特征，同时设计了适应性损失函数以优化整体与局部特征的结合。整体架构确保了在检索过程中对目标状态的准确捕捉。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ASAP-CIR框架在FashionIQ、CIRR和CIRCO数据集上均表现出色，特别是在CIRCO基准测试中，静态目标查询形式的检索准确率提升显著，超过了现有动态查询方法，验证了新方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括电子商务、图像搜索引擎和社交媒体平台等，能够提升用户在复杂查询条件下的图像检索体验。未来，该方法可能在多模态检索和人机交互系统中发挥重要作用，推动相关技术的发展。

📄 摘要（原文）

Composed image retrieval (CIR) aims to retrieve a desired target image from a query consisting of a reference image and a modification text. This task exhibits an unusual representational asymmetry: the modification text specifies a transition from the reference state, whereas retrieval candidates depict completed target states. This creates a representation mismatch for zero-shot methods that query pretrained vision-language spaces directly with transformation-oriented language. We study this mismatch and reformulate zero-shot composed image retrieval as target-state reconstruction followed by retrieval. We instantiate this formulation with ASAP-CIR, a training-free framework that reconstructs a static target representation using a frozen multimodal large language model (MLLM). The representation combines multiple holistic descriptions with a variable set of importance-weighted atomic semantics, thereby preserving both overall target identity and fine-grained visual constraints. Retrieval then integrates holistic state alignment, atomic constraint grounding, and calibrated target-state evidence aggregation. A controlled text-only diagnostic shows that target-side static query formulations achieve more reliable retrieval than dynamic composed query formulations, particularly when source-state semantics must be suppressed or transformed. Experiments on FashionIQ, CIRR, and CIRCO further characterize the effectiveness and limitations of this representation principle, with the clearest gains on the multi-target CIRCO benchmark. These results show that how composed intent is represented before retrieval is a consequential design choice, distinct from the choice of retrieval backbone itself.