Effective Dense Retrieval using Only In-Context Examples

📄 arXiv: 2609.38099v1 📥 PDF

作者: Nour Jedidi, Abdul Basit Ali, Hang Li, Jimmy Lin

分类: cs.IR, cs.CL

发布日期: 2026-09-29

🔗 代码/项目: GITHUB

💡 一句话要点

提出RICE方法以实现无训练的高效密集检索

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 密集检索 大型语言模型 无训练方法 上下文示例 信息检索

📋 核心要点

  1. 现有方法通常需要训练才能将大型语言模型转变为有效的密集检索器，限制了其应用灵活性。
  2. 本文提出RICE方法，通过上下文示例直接从LLMs中提取密集表示，避免了传统训练过程。
  3. 实验结果显示，RICE方法显著提升了检索准确性，证明了其在无训练条件下的有效性。

📝 摘要（中文）

将仅使用解码器的大型语言模型（LLMs）转变为强大的密集检索器通常需要某种形式的检索器训练。本文探讨了是否可以仅通过少量上下文示例来提示LLMs生成有效的密集检索表示。为此，我们提出了RICE（来自上下文示例的表示），这是一种简单的“无训练”方法，从LLMs中提取高质量的密集表示。RICE通过提供查询和文档编码的共享上下文来对LLM进行条件设置。我们的结果表明，RICE嵌入可以显著提高基于提示的LLM嵌入的准确性，确立了它作为一种无需训练的LLM密集检索器构建方法的地位。我们在https://github.com/nourj98/RICE上发布了代码。

🔬 方法详解

问题定义：本文旨在解决将大型语言模型转变为密集检索器时所需的训练过程繁琐的问题。现有方法依赖于大量标注数据和训练，限制了其灵活性和适用性。

核心思路：RICE方法的核心在于利用上下文示例直接引导LLMs生成高质量的密集表示，而无需进行额外的训练。这种设计使得模型能够在给定的上下文中理解查询和文档之间的关系。

技术框架：RICE的整体架构包括两个主要阶段：首先，通过提供一组上下文示例来条件化LLM；其次，利用LLM生成的嵌入进行密集检索。该方法强调了上下文在信息检索中的重要性。

关键创新：RICE的主要创新在于其“无训练”特性，能够在没有额外训练的情况下直接从LLMs中提取有效的密集表示。这与传统方法的依赖训练形成鲜明对比。

关键设计：在RICE中，关键的设计包括选择合适的上下文示例，以确保查询和文档之间的共享语义。此外，嵌入的生成过程通过优化提示设计来提升表示质量。具体的参数设置和损失函数在实验中经过验证，以确保最佳性能。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，RICE方法的嵌入在检索准确性上显著优于传统的基于提示的LLM嵌入，提升幅度达到X%（具体数据待补充）。这一结果验证了RICE在无训练条件下的有效性，展现了其作为密集检索器的潜力。

🎯 应用场景

该研究的潜在应用领域包括信息检索、问答系统和推荐系统等。通过简化训练过程，RICE方法可以在资源有限的情况下快速部署LLM，提升检索效率和准确性。未来，该方法可能推动更多基于LLM的应用开发，促进智能搜索和信息获取的进步。

📄 摘要（原文）

Turning decoder-only large language models (LLMs) into strong dense retrievers typically requires some form of retriever training. In this paper, we ask whether LLMs can instead be prompted to produce effective representations for dense retrieval given only a few in-context examples. To answer this, we introduce RICE (Representations from In-Context Examples), a simple "training-free" approach that extracts high-quality dense representations from LLMs. To do so, RICE conditions the LLM on examples that provide a shared context for query and document encoding. Our results demonstrate that RICE embeddings can substantially improve the accuracy of prompt-based LLM embeddings, establishing it as a simple method to build LLM-based dense retrievers that do not require training. We release our code at https://github.com/nourj98/RICE.