DCR-TSF: Dual-Level Compositional Reasoning with Triadic Spherical Fusion for Training-Free Zero-Shot Composed Image Retrieval

📄 arXiv: 2610.26078v1 📥 PDF

作者: Gwang-Ho Na, Ho-Joong Kim, Seong-Whan Lee

分类: cs.CV

发布日期: 2026-10-19

备注: Accepted to ACCV 2026. 14 pages, 6 figures, 6 tables

💡 一句话要点

提出DCR-TSF框架以解决训练无关的零-shot复合图像检索问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零-shot检索 复合图像检索 多模态学习 特征融合 语义一致性

📋 核心要点

  1. 现有的训练无关ZS-CIR方法过于依赖细粒度目标描述，导致检索结果偏向于参考图像的视觉细节，影响语义一致性。
  2. DCR-TSF框架通过双层组合推理生成不同粒度的描述，并利用三元球面融合保留原始查询信息，从而改善检索效果。
  3. 在CIRCO、CIRR和Fashion-IQ数据集上的实验表明，DCR-TSF在训练无关方法中实现了最先进的性能，显著提升了检索效果。

📝 摘要（中文）

零-shot复合图像检索（ZS-CIR）旨在检索出符合特定文本修改的目标图像，同时保持与参考图像的语义一致性。现有的训练无关ZS-CIR方法通常依赖于细粒度生成的目标描述，这些描述往往过于强调参考特定的视觉细节，导致外观偏差的检索。此外，由于这些描述是通过多模态大型语言模型（MLLMs）生成的，原始图像-文本查询的直接影响在最终检索表示中可能被削弱。本文提出了DCR-TSF，一个结合双层组合推理（DCR）和三元球面融合（TSF）的训练无关ZS-CIR框架。DCR从参考图像和修改文本生成细粒度和粗粒度描述，捕捉不同粒度下的互补目标侧语义。为了保留原始图像-文本查询信息，TSF通过在单位超球面上对参考图像特征和修改文本特征进行球面插值，构建组合查询锚点，并使用加权Karcher均值与细粒度和粗粒度表示进行融合。最终的查询表示在详细视觉证据、高级语义抽象和原始组合查询的直接保留之间达成平衡。大量在CIRCO、CIRR和Fashion-IQ上的实验表明，我们的方法在训练无关方法中达到了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决训练无关的零-shot复合图像检索问题，现有方法在生成目标描述时容易导致外观偏差，影响检索的语义一致性。

核心思路：DCR-TSF框架结合双层组合推理（DCR）和三元球面融合（TSF），通过生成细粒度和粗粒度描述来捕捉目标侧的互补语义，同时保留原始图像-文本查询的信息。

技术框架：该框架主要包括两个模块：DCR模块用于生成不同粒度的描述，TSF模块用于构建组合查询锚点并进行特征融合。整体流程是先从参考图像和修改文本生成描述，再通过球面插值和加权Karcher均值进行融合。

关键创新：DCR-TSF的创新在于通过双层描述生成和三元球面融合，克服了现有方法对细节的过度依赖，确保了语义一致性和查询信息的保留。

关键设计：在DCR模块中，细粒度和粗粒度描述的生成采用了多模态大型语言模型的输出，而TSF模块则通过球面插值和加权Karcher均值实现特征的有效融合，确保最终查询表示的平衡性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在CIRCO、CIRR和Fashion-IQ数据集上的实验结果显示，DCR-TSF框架在训练无关的零-shot复合图像检索任务中达到了最先进的性能，相较于现有基线方法，检索准确率提升了显著的百分比，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括图像检索、电子商务和社交媒体等场景，能够帮助用户更精准地找到符合特定文本描述的图像，提升用户体验。未来，该方法有望在多模态检索和人机交互等领域发挥更大作用。

📄 摘要（原文）

Zero-shot composed image retrieval (ZS-CIR) aims to retrieve a target image that reflects an intended textual modification while maintaining semantic consistency with a reference image. Existing training-free ZS-CIR methods typically rely on fine-grained generated target descriptions, which often overemphasize reference-specific visual details and lead to appearance-biased retrieval. Moreover, since these descriptions are generated through multimodal large language models (MLLMs), the direct influence of the original image-text query can be weakened in the final retrieval representation. In this paper, we propose DCR-TSF, a training-free ZS-CIR framework that combines Dual-level Compositional Reasoning (DCR) and Triadic Spherical Fusion (TSF). DCR generates fine- and coarse-grained descriptions from the reference image and modification text, capturing complementary target-side semantics across different granularities. To preserve the original image-text query information, TSF constructs a composed-query anchor by spherically interpolating the reference image feature and modification text feature, and fuses it with the fine- and coarse-grained representations using a weighted Karcher mean on the unit hypersphere. The resulting final query representation balances detailed visual evidence, high-level semantic abstraction, and direct preservation of the original composed query. Extensive experiments on CIRCO, CIRR, and Fashion-IQ demonstrate that our method achieves state-of-the-art performance among training-free methods.