SimRAG: Self-Improving Retrieval-Augmented Generation for Adapting Large Language Models to Specialized Domains

📄 arXiv: 2410.17952v2 📥 PDF

作者: Ran Xu, Hui Liu, Sreyashi Nag, Zhenwei Dai, Yaochen Xie, Xianfeng Tang, Chen Luo, Yang Li, Joyce C. Ho, Carl Yang, Qi He

分类: cs.CL, cs.AI, cs.IR, cs.LG

发布日期: 2024-10-23 (更新: 2025-01-24)

备注: Accepted to NAACL 2025 main conference

期刊: NAACL 2025

💡 一句话要点

提出SimRAG以解决专业领域RAG系统适应性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 领域适应 自我训练 大型语言模型 问答系统 合成示例

📋 核心要点

  1. 现有的RAG系统在专业领域的适应性不足，面临数据分布转移和领域特定数据稀缺的挑战。
  2. SimRAG通过自我训练，结合问答和问题生成能力，提升LLM在专业领域的适应性。
  3. 在11个数据集上的实验结果显示，SimRAG相比基线提升了1.2%-8.6%的性能。

📝 摘要（中文）

检索增强生成（RAG）通过整合外部知识提升了大型语言模型（LLM）的问答能力。然而，将通用RAG系统适应于科学和医学等专业领域面临分布转移和领域特定数据有限的挑战。为此，本文提出SimRAG，一种自我训练的方法，使LLM具备问答和问题生成的联合能力以实现领域适应。该方法首先在遵循指令、问答和搜索相关数据上微调LLM，然后提示同一LLM从未标记的语料库中生成多样的领域相关问题，并采用额外的过滤策略保留高质量的合成示例。通过利用这些自生成的合成示例，LLM能够提升在领域特定RAG任务上的表现。实验结果表明，SimRAG在11个数据集上超越基线1.2%-8.6%。

🔬 方法详解

问题定义：本文旨在解决通用RAG系统在专业领域（如科学和医学）适应性不足的问题，现有方法在数据分布转移和领域特定数据稀缺方面存在明显痛点。

核心思路：SimRAG的核心思路是通过自我训练，使LLM具备问答和问题生成的联合能力，从而更好地适应专业领域的需求。这样的设计可以有效利用未标记数据生成高质量的训练样本。

技术框架：SimRAG的整体架构包括两个主要阶段：首先在指令遵循、问答和搜索相关数据上对LLM进行微调；然后，利用微调后的模型从未标记语料库中生成领域相关问题，并通过过滤策略保留高质量示例。

关键创新：SimRAG的主要创新在于其自我生成合成示例的能力，这与传统的RAG方法不同，后者通常依赖于外部标注数据。通过自我生成，SimRAG能够在缺乏领域特定数据的情况下仍然提升模型性能。

关键设计：在模型微调过程中，采用了特定的损失函数以优化问答和问题生成的性能，同时设计了过滤策略以确保生成示例的质量，具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在11个数据集上的实验结果显示，SimRAG在不同的基础模型和领域中均表现出色，相比基线提升了1.2%-8.6%的性能，证明了其在专业领域RAG任务中的有效性和优越性。

🎯 应用场景

SimRAG的研究成果在多个专业领域具有广泛的应用潜力，尤其是在科学研究和医疗领域。通过提升LLM在专业领域的问答能力，SimRAG可以帮助研究人员和医生更高效地获取和利用知识，推动相关领域的进步与创新。未来，SimRAG的技术框架也可以扩展到其他需要领域适应的任务中。

📄 摘要（原文）

Retrieval-augmented generation (RAG) enhances the question-answering (QA) abilities of large language models (LLMs) by integrating external knowledge. However, adapting general-purpose RAG systems to specialized fields such as science and medicine poses unique challenges due to distribution shifts and limited access to domain-specific data. To tackle this, we propose SimRAG, a self-training approach that equips the LLM with joint capabilities of question answering and question generation for domain adaptation. Our method first fine-tunes the LLM on instruction-following, question-answering, and search-related data. Then, it prompts the same LLM to generate diverse domain-relevant questions from unlabeled corpora, with an additional filtering strategy to retain high-quality synthetic examples. By leveraging these self-generated synthetic examples, the LLM can improve their performance on domain-specific RAG tasks. Experiments on 11 datasets, spanning two backbone sizes and three domains, demonstrate that SimRAG outperforms baselines by 1.2\%--8.6\%.