Learning to Retrieve via Reinforcement Learning in Embedding Space
作者: Qi Liu, Fengming Liang, Yiqun Chen, Erhan Zhang, Jiaxin Mao
分类: cs.IR, cs.AI, cs.CL, cs.LG
发布日期: 2026-10-06
💡 一句话要点
提出RELER框架以直接优化嵌入空间中的检索性能
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 密集检索 强化学习 嵌入空间 条件均值投影 信息检索 问答系统 模型优化
📋 核心要点
- 现有的密集检索模型虽然能学习有效表示，但未能直接优化检索性能，导致在特定任务上表现不佳。
- 本文提出RELER框架，通过强化学习直接在嵌入空间中优化检索，利用任务特定奖励进行模型训练。
- RELER在BRIGHT基准上表现优于InfoNCE和LambdaLoss，并在七个问答数据集上提升了检索和答案质量。
📝 摘要（中文）
密集检索模型通常使用对比目标进行训练，虽然能够学习有效的表示，但并未直接优化检索指标或下游任务性能。为了解决这一问题，本文提出了RELER（REinforcement LEarning for Retrieval）框架，使现有的嵌入模型能够在嵌入空间中直接学习检索，并与特定任务的奖励对齐。RELER通过从以归一化编码器输出为中心的von Mises-Fisher分布中采样单位长度的查询和文档嵌入动作，评估检索结果或下游结果作为奖励，并使用REINFORCE算法更新编码器。为减少高维嵌入空间中的采样噪声，本文还提出了条件均值投影（CMP）方法。实验结果表明，RELER在BRIGHT基准上表现优异，超越了InfoNCE和LambdaLoss，并在七个问答数据集上提升了检索和答案质量。
🔬 方法详解
问题定义：本文旨在解决现有密集检索模型未能直接优化检索指标的问题，导致在特定任务上的性能不足。
核心思路：RELER框架通过强化学习直接在嵌入空间中进行检索优化，利用任务特定的奖励信号来指导模型学习，从而提高检索效果。
技术框架：RELER的整体架构包括从von Mises-Fisher分布中采样查询和文档嵌入、评估检索结果作为奖励、使用REINFORCE算法更新编码器，以及引入条件均值投影（CMP）以减少噪声。
关键创新：RELER的主要创新在于将强化学习应用于嵌入空间的检索优化，特别是通过CMP方法有效降低了高维空间中的采样噪声，提升了策略梯度的稳定性。
关键设计：在训练过程中，RELER使用单位长度的嵌入动作，并通过留一法（RLOO）作为基线来计算奖励，确保了模型更新的有效性。
🖼️ 关键图片
📊 实验亮点
在实验中，RELER在BRIGHT基准上相较于InfoNCE和LambdaLoss在平均nDCG@10上表现出显著提升。此外，在七个问答数据集上，联合优化检索和答案奖励显著提高了检索性能和答案质量，展示了其强大的实用性。
🎯 应用场景
RELER框架具有广泛的应用潜力，特别是在需要高效检索的场景中，如问答系统、信息检索和推荐系统等。通过优化检索性能，RELER能够提升下游任务的整体效果，具有显著的实际价值和未来影响。
📄 摘要（原文）
Dense retrieval models are typically trained with contrastive objectives that learn effective representations but do not directly optimize retrieval metrics or downstream task performance. To address this problem, we introduce RELER (REinforcement LEarning for Retrieval), a reinforcement learning framework that enables existing embedding models to learn to retrieve directly in embedding space and align to task-specific rewards. We train RELER by sampling unit-length query and document embedding actions from von Mises-Fisher (vMF) distributions centered on normalized encoder outputs, scoring the resulting retrieval or downstream outcomes as rewards, and updating the encoder with REINFORCE using a leave-one-out baseline (RLOO). As exploration in the high-dimensional embedding space is prone to sampling noise, we further propose conditional-mean projection (CMP), which projects each sampled embedding onto the low-dimensional subspace spanned by its encoder output and the candidate embeddings it is compared against, reducing noise in the policy gradient while preserving its expectation. We evaluate RELER on BRIGHT, a benchmark with reasoning-intensive queries that remain challenging for existing embedding models. RELER consistently outperforms InfoNCE and LambdaLoss in average nDCG@10 when post-training BGE-M3 and Qwen3-Embedding backbones. We further evaluate downstream utility through retrieval-augmented generation (RAG), where we adapt only the query encoder while keeping the document index and generator fixed. Across seven QA datasets, jointly optimizing retrieval and answer rewards improves both average retrieval performance and answer quality in RAG.