MindSearch: Mimicking Human Minds Elicits Deep AI Searcher

📄 arXiv: 2407.20183v2 📥 PDF

作者: Zehui Chen, Kuikun Liu, Qiuchen Wang, Jiangning Liu, Wenwei Zhang, Kai Chen, Feng Zhao

分类: cs.CL, cs.AI

发布日期: 2024-07-29 (更新: 2025-10-31)

备注: ICLR2025. Project Page: https://mindsearch.netlify.app Code: https://github.com/InternLM/MindSearch

💡 一句话要点

MindSearch：模仿人类思维模式的深度AI搜索引擎

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信息检索 大型语言模型 多智能体系统 知识整合 搜索引擎

📋 核心要点

  1. 现有方法难以一次性准确检索复杂请求，且相关信息分散在大量含噪声的网页中，易超出LLM上下文长度。
  2. MindSearch模仿人类思维，构建基于LLM的多智能体框架，通过动态图扩展和分层信息检索解决上述问题。
  3. 实验表明，MindSearch在问答质量上显著提升，且基于InternLM2.5-7B的MindSearch优于ChatGPT-Web和Perplexity.ai。

📝 摘要（中文）

信息检索和整合是一项耗时耗力的复杂认知任务。受大型语言模型（LLMs）显著进展的启发，最近的研究尝试结合LLMs和搜索引擎来解决这个问题。然而，由于三个挑战，这些方法仍然表现不佳：（1）复杂的请求通常无法被搜索引擎一次性准确完整地检索；（2）需要整合的相关信息分散在多个网页上，并伴随着大量的噪声；（3）大量包含长内容的网页可能会迅速超过LLMs的最大上下文长度。受到人类解决这些问题时的认知过程的启发，我们引入了MindSearch来模仿人类在网络信息检索和整合中的思维模式，这可以通过一个简单而有效的基于LLM的多智能体框架来实现。WebPlanner将人类多步骤信息检索的思维模式建模为一个动态图构建过程：它将用户查询分解为原子子问题作为图中的节点，并基于WebSearcher的搜索结果逐步扩展图。WebSearcher负责处理每个子问题，使用搜索引擎执行分层信息检索，并为WebPlanner收集有价值的信息。MindSearch的多智能体设计使整个框架能够并行地从更大规模（例如，超过300个）的网页中检索和整合信息，耗时3分钟，相当于人类3小时的工作量。MindSearch在封闭域和开放域问答问题上的响应质量（深度和广度方面）都表现出显著的提升。此外，基于InternLM2.5-7B的MindSearch的响应比ChatGPT-Web和Perplexity.ai应用程序更受人类欢迎，这意味着MindSearch已经可以为专有AI搜索引擎提供具有竞争力的解决方案。

🔬 方法详解

问题定义：论文旨在解决现有LLM结合搜索引擎进行信息检索和整合时遇到的问题。现有方法难以处理复杂查询，无法有效整合分散在多个网页上的信息，且容易超出LLM的上下文长度限制。这些问题导致检索结果的质量不高，无法满足用户需求。

核心思路：论文的核心思路是模仿人类在进行复杂信息检索和整合时的认知过程。人类通常会将复杂问题分解为多个子问题，逐步搜索和整合信息。MindSearch旨在通过模拟这一过程，提高信息检索和整合的效率和质量。

技术框架：MindSearch采用多智能体框架，主要包含两个模块：WebPlanner和WebSearcher。WebPlanner负责将用户查询分解为原子子问题，并构建动态图来表示子问题之间的关系。WebSearcher负责针对每个子问题，使用搜索引擎进行分层信息检索，并收集相关信息。两个模块并行工作，加速信息检索和整合过程。

关键创新：MindSearch的关键创新在于模仿人类思维模式，将复杂的信息检索和整合任务分解为多个子任务，并通过多智能体协作的方式并行处理。这种方法能够更有效地利用搜索引擎，并减少噪声信息的干扰。此外，动态图的构建能够更好地表示子问题之间的关系，从而提高信息整合的准确性。

关键设计：WebPlanner使用LLM将用户查询分解为子问题，并根据WebSearcher的搜索结果动态扩展图结构。WebSearcher采用分层信息检索策略，首先检索相关网页，然后从网页中提取关键信息。论文未提供关于损失函数、网络结构等更详细的技术细节，这部分信息未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MindSearch在响应质量（深度和广度）方面显著优于现有方法。基于InternLM2.5-7B的MindSearch的响应比ChatGPT-Web和Perplexity.ai更受人类偏爱，表明MindSearch在AI搜索引擎领域具有竞争力。此外，MindSearch能够在3分钟内处理超过300个网页的信息，相当于人类3小时的工作量。

🎯 应用场景

MindSearch具有广泛的应用前景，可以应用于智能问答系统、知识图谱构建、舆情分析等领域。该研究的实际价值在于提高信息检索和整合的效率和质量，帮助用户更快速地获取所需信息。未来，MindSearch可以进一步扩展到其他领域，例如科学研究、金融分析等，为各行各业提供更智能的信息服务。

📄 摘要（原文）

Information seeking and integration is a complex cognitive task that consumes enormous time and effort. Inspired by the remarkable progress of Large Language Models, recent works attempt to solve this task by combining LLMs and search engines. However, these methods still obtain unsatisfying performance due to three challenges: (1) complex requests often cannot be accurately and completely retrieved by the search engine once (2) corresponding information to be integrated is spread over multiple web pages along with massive noise, and (3) a large number of web pages with long contents may quickly exceed the maximum context length of LLMs. Inspired by the cognitive process when humans solve these problems, we introduce MindSearch to mimic the human minds in web information seeking and integration, which can be instantiated by a simple yet effective LLM-based multi-agent framework. The WebPlanner models the human mind of multi-step information seeking as a dynamic graph construction process: it decomposes the user query into atomic sub-questions as nodes in the graph and progressively extends the graph based on the search result from WebSearcher. Tasked with each sub-question, WebSearcher performs hierarchical information retrieval with search engines and collects valuable information for WebPlanner. The multi-agent design of MindSearch enables the whole framework to seek and integrate information parallelly from larger-scale (e.g., more than 300) web pages in 3 minutes, which is worth 3 hours of human effort. MindSearch demonstrates significant improvement in the response quality in terms of depth and breadth, on both close-set and open-set QA problems. Besides, responses from MindSearch based on InternLM2.5-7B are preferable by humans to ChatGPT-Web and Perplexity.ai applications, which implies that MindSearch can already deliver a competitive solution to the proprietary AI search engine.