An Early FIRST Reproduction and Improvements to Single-Token Decoding for Fast Listwise Reranking
作者: Zijian Chen, Ronak Pradeep, Jimmy Lin
分类: cs.IR, cs.CL
发布日期: 2024-11-08 (更新: 2024-11-12)
💡 一句话要点
FIRST：单Token解码加速Listwise重排序，并验证其有效性和效率。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: Listwise重排序 大型语言模型 信息检索 学习排序 单Token解码 推理加速 TREC深度学习数据集
📋 核心要点
- 现有LLM重排序计算成本高昂，阻碍了其广泛应用，且传统LM目标与重排序任务不完全匹配。
- FIRST方法整合学习排序目标，仅利用首个token的logits，显著降低推理延迟，提升重排序效率。
- 实验验证了FIRST在TREC DL19-22数据集上的鲁棒性，并实现了优于原始实现的性能，延迟降低21%-42%。
📝 摘要（中文）
大型语言模型（LLM）在Listwise重排序方面表现出色，但其高计算需求限制了广泛应用。此外，传统的语言建模（LM）目标并不完全适合重排序任务。FIRST是一种新颖的方法，通过整合学习排序目标并仅利用第一个生成的token的logits来解决这些挑战，从而显著降低了推理延迟。本研究将FIRST的评估扩展到TREC深度学习数据集（DL19-22），验证了其在不同领域的鲁棒性。我们研究了不同第一阶段检索器对FIRST重排序器的影响，观察到收益递减和与传统LLM重排序器一致的模式。通过将FIRST目标应用于更广泛的基础模型，我们实现了超越原始实现的有效性。实验证实，使用单token logits的快速重排序不会影响领域外的重排序质量。为了更好地量化原始研究中的计算节省，我们测量并比较了延迟，发现各种模型和基准测试的增益为21%-42%。此外，虽然LM训练隐式地改进了零样本单token重排序，但我们的实验也提出了关于LM预训练是否可能阻碍后续使用FIRST目标进行微调的问题。这些发现为未来应用中更高效和有效的Listwise重排序铺平了道路。
🔬 方法详解
问题定义：论文旨在解决大型语言模型（LLM）在Listwise重排序任务中计算成本过高的问题。现有方法，即传统的LLM重排序器，由于需要生成完整的文本序列并进行复杂的计算，导致推理延迟较高，难以在实际应用中部署。此外，传统的语言建模（LM）目标函数与重排序任务的目标并不完全一致，可能导致性能瓶颈。
核心思路：论文的核心思路是利用FIRST（FIRST token）方法，该方法仅使用LLM生成的第一个token的logits来进行重排序。通过将学习排序（learning-to-rank）目标函数与LLM相结合，FIRST能够直接优化重排序性能，而无需生成完整的文本序列。这种方法显著降低了计算复杂度，从而加速了推理过程。
技术框架：FIRST的技术框架主要包含以下几个阶段：1) 使用第一阶段检索器（如BM25或DPR）检索候选文档列表；2) 将查询和候选文档输入到LLM中；3) LLM生成第一个token，并提取其logits；4) 使用学习排序目标函数（如pairwise ranking loss）基于第一个token的logits对候选文档进行排序。整体流程简洁高效，避免了传统LLM重排序器中耗时的文本生成过程。
关键创新：FIRST最重要的技术创新点在于使用单token logits进行重排序。与传统方法需要生成完整序列相比，FIRST仅需计算第一个token的logits，从而大幅降低了计算复杂度。此外，FIRST将学习排序目标函数直接集成到LLM的训练过程中，使得模型能够更好地适应重排序任务。
关键设计：FIRST的关键设计包括：1) 使用交叉熵损失或pairwise ranking loss作为学习排序目标函数，优化模型以区分相关文档和不相关文档；2) 选择合适的LLM作为基础模型，例如BERT、RoBERTa或DeBERTa；3) 调整训练参数，例如学习率、batch size和训练epochs，以获得最佳性能。论文还探讨了不同第一阶段检索器对FIRST重排序器的影响，并观察到收益递减的现象。
🖼️ 关键图片
📊 实验亮点
实验结果表明，FIRST方法在TREC DL19-22数据集上取得了显著的性能提升，并且在不同领域都表现出良好的鲁棒性。通过将FIRST目标应用于更广泛的基础模型，实现了超越原始实现的有效性。延迟测量显示，FIRST方法在各种模型和基准测试中实现了21%-42%的加速。此外，实验还发现LM预训练可能对后续使用FIRST目标进行微调产生负面影响，这一发现为未来的研究方向提供了新的思路。
🎯 应用场景
FIRST方法可应用于各种信息检索和自然语言处理任务，例如网页搜索、问答系统、推荐系统等。其高效的重排序能力可以显著提升搜索结果的质量和用户体验。该研究的潜在价值在于降低了LLM在实际应用中的计算成本，使其更容易部署在资源受限的环境中。未来，FIRST可以进一步扩展到其他领域，例如对话系统和文本摘要。
📄 摘要（原文）
Recent advances have demonstrated that large language models (LLMs) excel as listwise rerankers, but their high computational demands remain a barrier to widespread adoption. Further, the traditional language modeling (LM) objective is not ideally suited for reranking tasks. FIRST is a novel approach that addresses these challenges by integrating a learning-to-rank objective and leveraging the logits of only the first generated token, thereby significantly reducing inference latency compared to traditional LLM rerankers. In this study, we extend the evaluation of FIRST to the TREC Deep Learning datasets (DL19-22), validating its robustness across diverse domains. We investigate the influence of different first-stage retrievers on FIRST rerankers, observing diminishing returns and patterns consistent with traditional LLM rerankers. Through applying the FIRST objective to a broader range of backbone models, we achieve effectiveness surpassing the original implementation. Our experiments confirm that fast reranking with single-token logits does not compromise out-of-domain reranking quality. To better quantify the computational savings in the original study, we measure and compare latency to find a 21%-42% gain across various models and benchmarks. Moreover, while LM training implicitly improves zero-shot single-token reranking, our experiments also raise questions about whether LM pre-training may hinder subsequent fine-tuning with the FIRST objective. These findings pave the way for more efficient and effective listwise reranking in future applications.