Autoregressive Retriever: Improving Query Understanding from Item Feedback for Universal Multimodal Retrieval

📄 arXiv: 2610.11666v1 📥 PDF

作者: Jianfei Zhao, Yifan Wang, Feng Zhang, Xin Sun, Chong Feng, Zhixing Tan, Yang Luo, Boyuan Pan, Xu Kai, Yao Hu

分类: cs.IR, cs.CV

发布日期: 2026-10-08

备注: Under Review

💡 一句话要点

提出自回归检索器以提升多模态检索中的查询理解

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态检索 查询理解 自回归模型 信息检索 强化学习 对比学习 反馈机制

📋 核心要点

  1. 现有的通用多模态检索方法在查询表示上缺乏动态调整，未能利用检索项的反馈来优化查询理解。
  2. 本文提出自回归检索器（ARR），通过交替检索和更新查询嵌入，利用反馈信息来提升检索效果。
  3. ARR在多个基准测试中表现出色，平均超越了现有基线，且反馈机制在推理时显著提升了检索性能。

📝 摘要（中文）

通用多模态检索通常一次性编码查询，并通过嵌入相似性独立排名索引项。这种设计支持高效搜索，但在检索项能够帮助澄清信息需求时，查询表示保持不变。本文提出自回归检索器（ARR），该模型学习选择信息丰富的项并利用其内容来优化后续检索。ARR在检索项和更新查询嵌入之间交替进行，最终嵌入用于排名。通过监督微调，编码器学习通过逐步对比监督利用反馈。强化学习将反馈项视为动作，并使用相关项的最终互惠排名优化其选择。查询侧适配器使得该优化能够针对固定项索引进行。ARR在领域内和零样本基准上展示了强大的检索性能，平均超越了比较基线。

🔬 方法详解

问题定义：本文旨在解决现有多模态检索方法中查询表示静态的问题，导致检索效果不佳，尤其是在信息需求不明确时。

核心思路：ARR通过交替检索信息丰富的项并更新查询嵌入，动态调整查询表示，从而更好地满足用户的信息需求。

技术框架：ARR的整体架构包括检索模块和查询更新模块，首先检索相关项，然后基于这些项更新查询嵌入，最后使用更新后的嵌入进行排名。

关键创新：ARR的主要创新在于引入了反馈机制，通过逐步对比监督和强化学习优化查询嵌入的更新过程，这与传统方法的静态查询表示形成鲜明对比。

关键设计：在技术细节上，ARR使用了逐步对比损失函数来指导查询嵌入的更新，并通过强化学习优化反馈项的选择，确保最终的检索效果最大化。该模型还设计了查询侧适配器，以便在固定项索引上进行优化。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

ARR在多个基准测试中表现优异，平均超越了现有基线，尤其是在零样本检索任务中，显示出显著的性能提升，具体数据未提供，但整体效果显著。

🎯 应用场景

该研究的潜在应用场景包括信息检索、推荐系统和智能助手等领域。通过提升查询理解能力，ARR能够更精准地满足用户需求，提升用户体验，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Universal multimodal retrieval typically encodes a query once and ranks independently indexed items by embedding similarity. This design supports efficient search, but leaves the query representation unchanged even when retrieved items could help clarify the information need. We introduce the AutoRegressive Retriever (ARR), a multimodal retrieval model that learns both to select informative items and to use their content to refine subsequent retrieval. ARR alternates between retrieving an item and updating the query embedding, then uses the final embedding to rank the collection. Supervised fine-tuning teaches the encoder to use feedback through stepwise contrastive supervision. Reinforcement learning treats feedback items as actions and optimizes their selection using the final reciprocal rank of a relevant item. A query-side adapter enables this optimization against a fixed item index. ARR demonstrates strong retrieval performance on both in-domain and zero-shot benchmarks, outperforming the compared baselines on average. Further analyses show that feedback improves retrieval at inference time and that training with feedback also improves the initial query embedding, before any item is observed.