DeepSieve: Information Sieving via LLM-as-a-Knowledge-Router

📄 arXiv: 2507.22050v2 📥 PDF

作者: Minghao Guo, Qingcheng Zeng, Xujiang Zhao, Yanchi Liu, Wenchao Yu, Mengnan Du, Haifeng Chen, Wei Cheng

分类: cs.CL

发布日期: 2025-07-29 (更新: 2025-07-30)

备注: 22 pages, work in progress

🔗 代码/项目: GITHUB

💡 一句话要点

提出DeepSieve，通过LLM作为知识路由器的信息筛选框架，提升RAG在复杂问答中的性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 大型语言模型 知识路由 信息筛选 多跳问答

📋 核心要点

  1. 现有RAG方法在处理复杂知识密集型查询时，缺乏对查询和知识源的细粒度控制，导致检索结果包含大量噪声。
  2. DeepSieve通过将LLM作为知识路由器，将复杂查询分解为子问题，并递归地路由到最合适的知识源，实现信息筛选。
  3. 实验表明，DeepSieve在多跳QA任务中，相比传统RAG方法，显著提升了推理深度、检索精度和可解释性。

📝 摘要（中文）

大型语言模型(LLMs)擅长许多推理任务，但由于无法动态访问最新的或特定领域的知识，因此在知识密集型查询方面表现不佳。检索增强生成(RAG)已成为一种有前景的解决方案，使LLMs能够将其响应建立在外部来源的基础上。然而，现有的RAG方法缺乏对查询和源端的细粒度控制，通常导致噪声检索和浅层推理。本文介绍DeepSieve，一个agentic RAG框架，它通过LLM作为知识路由器来整合信息筛选。DeepSieve将复杂的查询分解为结构化的子问题，并递归地将每个子问题路由到最合适的知识源，通过多阶段提炼过程过滤掉不相关的信息。我们的设计强调模块化、透明性和适应性，利用了agentic系统设计的最新进展。在跨异构来源的多跳QA任务上的实验表明，与传统的RAG方法相比，推理深度、检索精度和可解释性都有所提高。代码已开源。

🔬 方法详解

问题定义：论文旨在解决现有检索增强生成（RAG）方法在处理复杂、知识密集型查询时存在的不足。现有RAG方法通常无法有效地控制查询和知识源，导致检索结果中包含大量无关信息（噪声），并且推理深度不足，难以进行深层推理。这些问题限制了RAG在实际应用中的效果。

核心思路：DeepSieve的核心思路是将大型语言模型（LLM）作为知识路由器，通过智能体（Agent）的方式，对信息进行多阶段筛选和提炼。具体来说，DeepSieve将复杂的查询分解为更小的、结构化的子问题，然后将每个子问题路由到最合适的知识源。通过这种方式，可以更精确地检索相关信息，并减少噪声的干扰。

技术框架：DeepSieve的整体架构包含以下几个主要模块：1) 查询分解模块：将复杂查询分解为多个结构化的子问题。2) 知识路由模块：利用LLM作为知识路由器，将每个子问题路由到最合适的知识源。3) 信息检索模块：从选定的知识源中检索相关信息。4) 信息提炼模块：对检索到的信息进行多阶段提炼，过滤掉不相关的信息，并提取关键信息。5) 答案生成模块：利用LLM根据提炼后的信息生成最终答案。整个流程是递归的，可以根据需要重复执行，以获得更深入的推理结果。

关键创新：DeepSieve的关键创新在于将LLM作为知识路由器，并采用多阶段信息筛选机制。与传统的RAG方法相比，DeepSieve能够更精细地控制查询和知识源，从而提高检索精度和推理深度。此外，DeepSieve的模块化设计使其具有更好的可扩展性和适应性。

关键设计：DeepSieve的关键设计包括：1) 子问题分解策略：如何将复杂查询分解为有效的子问题，需要仔细设计提示词（Prompt）和分解规则。2) 知识路由策略：如何利用LLM准确地将子问题路由到最合适的知识源，需要考虑知识源的特点和子问题的语义。3) 信息提炼策略：如何设计多阶段提炼过程，以有效地过滤掉不相关的信息，并提取关键信息，可能涉及到不同的LLM和提示词设计。4) 损失函数：论文中可能使用了特定的损失函数来优化LLM的路由和提炼能力，但具体细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在多跳QA任务上进行了实验，结果表明DeepSieve显著优于传统的RAG方法。具体性能数据未知，但摘要中提到DeepSieve在推理深度、检索精度和可解释性方面都有所提高。实验结果验证了DeepSieve的有效性和优越性。

🎯 应用场景

DeepSieve具有广泛的应用前景，例如智能客服、知识问答系统、医学诊断辅助等。它可以帮助用户更有效地获取和利用知识，提高决策效率和准确性。未来，DeepSieve可以进一步扩展到更多的领域，例如金融分析、法律咨询等，为各行各业提供更智能化的服务。

📄 摘要（原文）

Large Language Models (LLMs) excel at many reasoning tasks but struggle with knowledge-intensive queries due to their inability to dynamically access up-to-date or domain-specific information. Retrieval-Augmented Generation (RAG) has emerged as a promising solution, enabling LLMs to ground their responses in external sources. However, existing RAG methods lack fine-grained control over both the query and source sides, often resulting in noisy retrieval and shallow reasoning. In this work, we introduce DeepSieve, an agentic RAG framework that incorporates information sieving via LLM-as-a-knowledge-router. DeepSieve decomposes complex queries into structured sub-questions and recursively routes each to the most suitable knowledge source, filtering irrelevant information through a multi-stage distillation process. Our design emphasizes modularity, transparency, and adaptability, leveraging recent advances in agentic system design. Experiments on multi-hop QA tasks across heterogeneous sources demonstrate improved reasoning depth, retrieval precision, and interpretability over conventional RAG approaches. Our codes are available at https://github.com/MinghoKwok/DeepSieve.