Grounding by Trying: LLMs with Reinforcement Learning-Enhanced Retrieval

📄 arXiv: 2410.23214v2 📥 PDF

作者: Sheryl Hsu, Omar Khattab, Chelsea Finn, Archit Sharma

分类: cs.LG, cs.AI

发布日期: 2024-10-30 (更新: 2024-10-31)

💡 一句话要点

提出LeReT框架以提升LLMs的信息检索能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 信息检索 强化学习 查询优化 机器学习

📋 核心要点

  1. 现有的LLMs在生成答案时，常常面临信息检索不准确的问题，尤其是在复杂主题上表现不佳。
  2. 本文提出的LeReT框架通过强化学习优化搜索查询，允许模型通过尝试不同的查询来学习有效的信息检索策略。
  3. 实验结果表明，LeReT在绝对检索准确率上提升了29%，并在下游生成器评估中提高了17%。

📝 摘要（中文）

大型语言模型（LLMs）的幻觉问题逐渐通过允许其搜索信息并基于真实来源来支撑答案而得到缓解。然而，LLMs在处理复杂或间接主题时，往往难以提出合适的搜索查询。本文提出了一种名为学习检索尝试（LeReT）的强化学习框架，通过尝试不同的查询并学习加权成功产生相关结果的查询，从而提高检索质量。LeReT能够将绝对检索准确率提高多达29%，并使下游生成器评估提升17%。该方法的简单性和灵活性使其能够应用于任意现成的检索器，展现出改善LLM管道的潜力。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在信息检索过程中提出不准确查询的问题，现有方法在处理复杂或间接主题时表现不佳。

核心思路：LeReT框架通过强化学习的方式，允许模型尝试不同的搜索查询，并根据成功检索到相关信息的查询进行加权，从而优化查询质量。

技术框架：LeReT的整体架构包括查询生成模块、检索反馈模块和优化模块。查询生成模块负责生成初始查询，检索反馈模块评估查询的有效性，优化模块则根据反馈调整查询策略。

关键创新：LeReT的主要创新在于其通过尝试和反馈机制来优化查询，而不是依赖于静态的查询生成策略，这使得模型能够动态适应不同的信息检索任务。

关键设计：在设计上，LeReT使用了偏好优化算法来评估查询的有效性，并通过强化学习的损失函数来指导模型学习更有效的查询策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LeReT框架在绝对检索准确率上提升了29%，并在下游生成器评估中提高了17%。这些结果表明，LeReT在优化信息检索方面具有显著的效果，相较于传统方法，展现出更强的适应性和有效性。

🎯 应用场景

LeReT框架具有广泛的应用潜力，尤其是在需要高准确性的信息检索场景中，如智能问答系统、搜索引擎优化和知识图谱构建等领域。其灵活性使得该方法能够与多种现成的检索器结合，提升整体性能，未来可能在多个行业中发挥重要作用。

📄 摘要（原文）

The hallucinations of large language models (LLMs) are increasingly mitigated by allowing LLMs to search for information and to ground their answers in real sources. Unfortunately, LLMs often struggle with posing the right search queries, especially when dealing with complex or otherwise indirect topics. Observing that LLMs can learn to search for relevant facts by $\textit{trying}$ different queries and learning to up-weight queries that successfully produce relevant results, we introduce $\underline{Le}$arning to $\underline{Re}$trieve by $\underline{T}$rying (LeReT), a reinforcement learning framework that explores search queries and uses preference-based optimization to improve their quality. LeReT can improve the absolute retrieval accuracy by up to 29% and the downstream generator evaluations by 17%. The simplicity and flexibility of LeReT allows it to be applied to arbitrary off-the-shelf retrievers and makes it a promising technique for improving general LLM pipelines. Project website: http://sherylhsu.com/LeReT/.