REARANK: Reasoning Re-ranking Agent via Reinforcement Learning

📄 arXiv: 2505.20046v1 📥 PDF

作者: Le Zhang, Bo Wang, Xipeng Qiu, Siva Reddy, Aishwarya Agrawal

分类: cs.IR, cs.CL

发布日期: 2025-05-26

💡 一句话要点

提出REARANK：基于强化学习的LLM推理重排序Agent，显著提升信息检索性能与可解释性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信息检索 重排序 强化学习 大型语言模型 推理 数据增强 Qwen Agent

📋 核心要点

  1. 现有信息检索重排序方法缺乏显式推理过程，导致性能瓶颈和可解释性不足。
  2. REARANK通过强化学习训练LLM进行显式推理，从而优化重排序结果，提升性能与可解释性。
  3. 实验表明，REARANK仅用少量标注数据即可达到甚至超越GPT-4的性能，尤其在推理密集型任务中。

📝 摘要（中文）

本文提出REARANK，一个基于大型语言模型（LLM）的列表式推理重排序Agent。REARANK在重排序之前进行显式推理，从而显著提高性能和可解释性。通过利用强化学习和数据增强，REARANK在流行的信息检索基准测试中实现了相对于基线模型的显著改进，值得注意的是，仅需要179个带注释的样本。基于Qwen2.5-7B构建的REARANK-7B在领域内和领域外基准测试中表现出与GPT-4相当的性能，甚至在推理密集型BRIGHT基准测试中超过了GPT-4。这些结果强调了我们方法的有效性，并突出了强化学习如何增强LLM在重排序中的推理能力。

🔬 方法详解

问题定义：论文旨在解决信息检索中的重排序问题。现有的重排序方法，尤其是基于传统机器学习的方法，通常缺乏对文档之间关系的深入理解和推理能力，导致排序结果不够理想。即使是基于LLM的重排序方法，如果缺乏显式的推理过程，也难以充分利用LLM的推理能力，并且可解释性较差。

核心思路：论文的核心思路是利用强化学习训练一个基于LLM的Agent，使其能够在重排序之前进行显式的推理。通过推理，Agent可以更好地理解文档之间的关系，从而做出更合理的排序决策。强化学习的目标是最大化排序结果的质量，例如NDCG等指标。

技术框架：REARANK的整体框架包括以下几个主要模块：1) LLM推理模块：使用LLM对候选文档列表进行推理，生成推理过程的文本描述。2) 强化学习Agent：基于LLM，通过强化学习与环境交互，学习如何进行推理和重排序。3) 奖励函数：根据重排序结果的质量（例如NDCG）计算奖励，用于指导Agent的学习。4) 数据增强模块：通过生成新的训练样本来提高Agent的泛化能力。

关键创新：REARANK的关键创新在于将强化学习与LLM推理相结合，实现了一个能够进行显式推理的重排序Agent。与传统的重排序方法相比，REARANK能够更好地理解文档之间的关系，从而做出更合理的排序决策。此外，REARANK还采用了数据增强技术，进一步提高了Agent的泛化能力。

关键设计：REARANK使用Qwen2.5-7B作为LLM的基础模型。强化学习算法采用策略梯度方法，奖励函数基于NDCG等排序指标。数据增强方法包括生成新的查询和文档，以及对现有查询和文档进行修改。训练过程中，使用了179个标注样本。具体参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

REARANK在多个信息检索基准测试中取得了显著的性能提升。例如，在BRIGHT基准测试中，REARANK-7B甚至超越了GPT-4。值得注意的是，REARANK仅使用了179个标注样本就达到了如此高的性能，这表明了该方法的效率和潜力。实验结果表明，强化学习可以有效地增强LLM在重排序任务中的推理能力。

🎯 应用场景

REARANK可应用于各种信息检索场景，例如搜索引擎、推荐系统、问答系统等。通过提升排序质量和可解释性，REARANK可以提高用户满意度，并帮助用户更有效地获取所需信息。未来，REARANK还可以扩展到其他需要推理的任务中，例如知识图谱推理、文本摘要等。

📄 摘要（原文）

We present REARANK, a large language model (LLM)-based listwise reasoning reranking agent. REARANK explicitly reasons before reranking, significantly improving both performance and interpretability. Leveraging reinforcement learning and data augmentation, REARANK achieves substantial improvements over baseline models across popular information retrieval benchmarks, notably requiring only 179 annotated samples. Built on top of Qwen2.5-7B, our REARANK-7B demonstrates performance comparable to GPT-4 on both in-domain and out-of-domain benchmarks and even surpasses GPT-4 on reasoning-intensive BRIGHT benchmarks. These results underscore the effectiveness of our approach and highlight how reinforcement learning can enhance LLM reasoning capabilities in reranking.