PRCA: Fitting Black-Box Large Language Models for Retrieval Question Answering via Pluggable Reward-Driven Contextual Adapter

📄 arXiv: 2310.18347v1 📥 PDF

作者: Haoyan Yang, Zhitao Li, Yong Zhang, Jianzong Wang, Ning Cheng, Ming Li, Jing Xiao

分类: cs.CL

发布日期: 2023-10-23

备注: Accepted by the Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing. (EMNLP2023)

💡 一句话要点

提出PRCA以解决黑箱大语言模型在检索问答中的适应性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索问答 大型语言模型 可插拔适配器 强化学习 信息精炼

📋 核心要点

  1. 现有的检索问答方法在使用大型语言模型时面临微调困难和预算限制的问题。
  2. 本文提出的PRCA通过可插拔的方式在检索器和生成器之间进行信息精炼，保持生成器的黑箱特性。
  3. 实验结果表明，PRCA在三个数据集上提升了ReQA性能，最多提高20%，显示出其显著的应用潜力。

📝 摘要（中文）

检索问答（ReQA）任务采用检索增强框架，由检索器和生成器组成。生成器基于检索器获取的文档生成答案。尽管大型语言模型（LLMs）在问答能力上表现优异，但由于其规模庞大，通常难以在预算限制下进行微调，且有些仅通过API访问。为了解决这一问题并进一步提升ReQA性能，本文提出了一种可训练的可插拔奖励驱动上下文适配器（PRCA），在保持生成器为黑箱的情况下，位于检索器和生成器之间，通过最大化强化学习阶段的奖励，以自回归策略精炼检索到的信息。实验验证了PRCA在三个数据集上提升ReQA性能的有效性，最多可提高20%，展示了其在LLMs时代的巨大潜力。

🔬 方法详解

问题定义：本文旨在解决在检索问答任务中，如何有效地将大型语言模型（LLMs）适配到现有框架中，尤其是在预算限制和微调困难的情况下。现有方法往往无法充分利用LLMs的强大能力。

核心思路：PRCA的核心思路是通过可插拔的奖励驱动上下文适配器，在不改变生成器的情况下，优化检索到的信息。通过强化学习的奖励机制，PRCA能够自回归地精炼信息，从而提升生成效果。

技术框架：PRCA的整体架构包括三个主要模块：检索器、PRCA适配器和生成器。检索器负责获取相关文档，PRCA适配器在此基础上进行信息的优化处理，最后生成器生成最终答案。

关键创新：PRCA的主要创新在于其可插拔的设计，使得在不需要微调大型语言模型的情况下，仍能有效提升检索问答的性能。这一方法与传统的微调方法本质上不同，避免了对生成器的直接干预。

关键设计：在PRCA的设计中，采用了基于奖励的强化学习策略，设置了特定的损失函数以最大化奖励。此外，PRCA的网络结构设计为能够处理自回归信息流，确保信息的逐步优化。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PRCA在三个不同的数据集上均表现出色，最高提升了20%的性能，相较于基线方法，展现了显著的优势。这一结果验证了PRCA在提升检索问答任务中的有效性和实用性。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在需要高效问答系统的领域，如智能客服、在线教育和信息检索等。通过提升检索问答的性能，PRCA能够为用户提供更准确和高效的信息获取体验，推动相关技术的发展和应用。

📄 摘要（原文）

The Retrieval Question Answering (ReQA) task employs the retrieval-augmented framework, composed of a retriever and generator. The generator formulates the answer based on the documents retrieved by the retriever. Incorporating Large Language Models (LLMs) as generators is beneficial due to their advanced QA capabilities, but they are typically too large to be fine-tuned with budget constraints while some of them are only accessible via APIs. To tackle this issue and further improve ReQA performance, we propose a trainable Pluggable Reward-Driven Contextual Adapter (PRCA), keeping the generator as a black box. Positioned between the retriever and generator in a Pluggable manner, PRCA refines the retrieved information by operating in a token-autoregressive strategy via maximizing rewards of the reinforcement learning phase. Our experiments validate PRCA's effectiveness in enhancing ReQA performance on three datasets by up to 20% improvement to fit black-box LLMs into existing frameworks, demonstrating its considerable potential in the LLMs era.