Large Language Models as Foundations for Next-Gen Dense Retrieval: A Comprehensive Empirical Assessment

📄 arXiv: 2408.12194v2 📥 PDF

作者: Kun Luo, Minghao Qin, Zheng Liu, Shitao Xiao, Jun Zhao, Kang Liu

分类: cs.CL

发布日期: 2024-08-22 (更新: 2024-08-23)

备注: Submitted to EMNLP24

💡 一句话要点

大规模语言模型赋能下一代稠密检索：一项全面的实证评估

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大规模语言模型 稠密检索 信息检索 零样本学习 长文本检索

📋 核心要点

  1. 现有稠密检索模型泛化能力不足，难以提升特定领域内的检索精度，限制了其应用范围。
  2. 该研究探索使用大规模语言模型（LLM）作为检索器，旨在提升检索性能和泛化能力。
  3. 实验结果表明，更大的模型和更长的预训练时间能够显著提升检索准确率和数据效率。

📝 摘要（中文）

预训练语言模型（如BERT和T5）是稠密检索的关键骨干编码器。然而，这些模型泛化能力有限，且难以提升领域内准确率。最近的研究探索了使用大型语言模型（LLM）作为检索器，并在各种任务中取得了SOTA性能。尽管如此，LLM相对于传统检索器的具体优势，以及不同LLM配置（如参数大小、预训练时长和对齐过程）对检索任务的影响仍不清楚。本文对包括领域内准确率、数据效率、零样本泛化、长文本检索、基于指令的检索和多任务学习在内的一系列检索任务进行了全面的实证研究。我们评估了超过15种不同的骨干LLM和非LLM。研究结果表明，更大的模型和更广泛的预训练能够持续提高领域内准确率和数据效率。此外，更大的模型在零样本泛化、长文本检索、基于指令的检索和多任务学习方面表现出巨大的潜力。这些结果强调了LLM作为稠密检索中通用且有效的骨干编码器的优势，为该领域的未来研究和发展提供了有价值的见解。

🔬 方法详解

问题定义：论文旨在解决传统稠密检索模型泛化能力弱、领域内精度提升困难的问题。现有方法依赖于特定领域的微调，难以适应新的检索任务和领域，且对于长文本和指令性查询的处理能力有限。

核心思路：论文的核心思路是利用大规模语言模型（LLM）强大的语言理解和生成能力，将其作为稠密检索的骨干编码器。通过增加模型规模和预训练数据，提升LLM的泛化能力和对复杂查询的处理能力。

技术框架：该研究采用了一种基于LLM的稠密检索框架。首先，使用LLM对查询和文档进行编码，得到稠密的向量表示。然后，使用相似度度量（如余弦相似度）计算查询向量和文档向量之间的相似度。最后，根据相似度对文档进行排序，返回最相关的文档。该框架可以应用于各种检索任务，包括领域内检索、零样本检索、长文本检索和指令性检索。

关键创新：该研究的关键创新在于将大规模语言模型应用于稠密检索，并系统地评估了不同LLM配置（如参数大小、预训练时长）对检索性能的影响。与传统方法相比，该方法具有更强的泛化能力和对复杂查询的处理能力。

关键设计：论文评估了超过15种不同的LLM和非LLM模型，包括不同参数规模和预训练时长的模型。实验中，使用了多种检索任务和数据集，以全面评估模型的性能。此外，论文还研究了不同的训练策略和损失函数对模型性能的影响。具体的参数设置和损失函数选择取决于具体的任务和数据集。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，更大的模型和更长的预训练时间能够持续提高领域内准确率和数据效率。例如，在零样本泛化任务中，更大的模型表现出显著的优势。此外，LLM在长文本检索、基于指令的检索和多任务学习方面也展现出巨大的潜力，证明了LLM作为稠密检索骨干编码器的有效性。

🎯 应用场景

该研究成果可广泛应用于信息检索、问答系统、推荐系统等领域。利用LLM强大的语言理解能力，可以提升搜索结果的准确性和相关性，改善用户体验。此外，该研究为未来LLM在检索领域的应用提供了有价值的参考，推动了相关技术的发展。

📄 摘要（原文）

Pretrained language models like BERT and T5 serve as crucial backbone encoders for dense retrieval. However, these models often exhibit limited generalization capabilities and face challenges in improving in domain accuracy. Recent research has explored using large language models (LLMs) as retrievers, achieving SOTA performance across various tasks. Despite these advancements, the specific benefits of LLMs over traditional retrievers and the impact of different LLM configurations, such as parameter sizes, pretraining duration, and alignment processes on retrieval tasks remain unclear. In this work, we conduct a comprehensive empirical study on a wide range of retrieval tasks, including in domain accuracy, data efficiency, zero shot generalization, lengthy retrieval, instruction based retrieval, and multi task learning. We evaluate over 15 different backbone LLMs and non LLMs. Our findings reveal that larger models and extensive pretraining consistently enhance in domain accuracy and data efficiency. Additionally, larger models demonstrate significant potential in zero shot generalization, lengthy retrieval, instruction based retrieval, and multi task learning. These results underscore the advantages of LLMs as versatile and effective backbone encoders in dense retrieval, providing valuable insights for future research and development in this field.