CustomIR: Unsupervised Fine-Tuning of Dense Embeddings for Known Document Corpora

📄 arXiv: 2510.21729v2 📥 PDF

作者: Nathan Paull

分类: cs.IR, cs.AI

发布日期: 2025-09-30 (更新: 2025-10-28)

💡 一句话要点

CustomIR：利用无监督微调提升领域文档语料库的稠密嵌入效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 稠密嵌入 无监督学习 领域自适应 信息检索 大型语言模型

📋 核心要点

  1. 现有稠密嵌入模型在特定领域语料库上的检索性能下降，缺乏领域适应性。
  2. CustomIR利用LLM生成合成查询-文档对进行无监督微调，无需人工标注。
  3. 实验表明，CustomIR能有效提升小型模型在企业数据上的检索性能，降低RAG成本。

📝 摘要（中文）

稠密嵌入模型在现代信息检索中至关重要，尤其是在RAG（检索增强生成）流程中。然而，当应用于预训练分布之外的特定领域语料库时，它们的性能通常会下降。为了解决这个问题，我们提出了CustomIR，一个用于无监督地将预训练语言嵌入模型适配到特定领域语料库的框架，它使用合成生成的查询-文档对。CustomIR利用大型语言模型（LLM）来创建基于已知目标语料库的多样化查询，并与LLM验证的难负样本配对，从而消除了对昂贵的人工标注的需求。在企业电子邮件和消息传递数据集上的实验表明，CustomIR始终如一地提高了检索效果，小型模型的Recall@10最多提高了2.3个百分点。这种性能提升使得这些小型模型能够与更大的替代方案相媲美，从而降低了RAG部署的成本。这些结果表明，有针对性的合成微调为提高领域特定性能提供了一种可扩展且经济高效的策略。

🔬 方法详解

问题定义：论文旨在解决稠密嵌入模型在特定领域语料库上的检索性能下降问题。现有方法依赖于人工标注数据进行微调，成本高昂且难以扩展。此外，通用预训练模型难以捕捉特定领域的语义信息，导致检索效果不佳。

核心思路：论文的核心思路是利用大型语言模型（LLM）生成合成的查询-文档对，并使用这些数据对预训练的稠密嵌入模型进行无监督微调。通过LLM生成多样化的查询和难负样本，可以有效地模拟真实场景，提高模型在特定领域的检索性能。这种方法避免了人工标注的成本，并能够更好地适应特定领域的语义特征。

技术框架：CustomIR框架主要包含以下几个阶段：1) 语料库分析：分析目标语料库的特征，例如主题、风格等。2) 查询生成：使用LLM根据语料库中的文档生成多样化的查询。3) 难负样本挖掘：使用LLM验证并选择与查询相似但语义不同的文档作为难负样本。4) 模型微调：使用生成的查询-文档对对预训练的稠密嵌入模型进行微调，优化模型的检索性能。

关键创新：该论文的关键创新在于利用LLM自动生成高质量的合成数据，用于无监督地微调稠密嵌入模型。与传统的有监督微调方法相比，该方法无需人工标注，降低了成本并提高了可扩展性。此外，使用LLM进行难负样本挖掘，可以有效地提高模型的区分能力。

关键设计：在查询生成阶段，使用不同的prompt引导LLM生成多样化的查询，例如释义、扩展、总结等。在难负样本挖掘阶段，使用LLM对候选负样本进行排序，选择与查询语义相似但内容不同的文档作为难负样本。在模型微调阶段，可以使用对比学习损失函数，例如InfoNCE loss，来优化模型的嵌入表示。

📊 实验亮点

实验结果表明，CustomIR在企业电子邮件和消息传递数据集上显著提高了检索效果，小型模型的Recall@10最多提高了2.3个百分点。经过CustomIR微调的小型模型能够达到甚至超过大型模型的性能，从而降低了RAG系统的计算成本和部署难度。这些结果验证了CustomIR在领域特定检索任务中的有效性。

🎯 应用场景

CustomIR可应用于企业内部知识库、客户服务系统、法律文档检索等领域。通过提升领域文档的检索效果，可以提高信息获取效率，改善用户体验，并降低RAG系统的部署成本。未来，该方法可以扩展到其他领域，例如医疗、金融等，为特定领域的知识检索提供更有效的解决方案。

📄 摘要（原文）

Dense embedding models have become critical for modern information retrieval, particularly in RAG pipelines, but their performance often degrades when applied to specialized corpora outside their pre-training distribution. To address thi we introduce CustomIR, a framework for unsupervised adaptation of pre-trained language embedding models to domain-specific corpora using synthetically generated query-document pairs. CustomIR leverages large language models (LLMs) to create diverse queries grounded in a known target corpus, paired with LLM-verified hard negatives, eliminating the need for costly human annotation. Experiments on enterprise email and messaging datasets show that CustomIR consistently improves retrieval effectiveness with small models gaining up to 2.3 points in Recall@10. This performance increase allows these small models to rival the performance of much larger alternatives, allowing for cheaper RAG deployments. These results highlight that targeted synthetic fine-tuning offers a scalable and cost-efficient strategy for increasing domain-specific performance.