MCP-Flow: Facilitating LLM Agents to Master Real-World, Diverse and Scaling MCP Tools
作者: Wenhao Wang, Peizhi Niu, Zhao Xu, Zhaoyu Chen, Jian Du, Yaxin Du, Xianghe Pang, Keduan Huang, Yanfeng Wang, Qiang Yan, Siheng Chen
分类: cs.AI
发布日期: 2025-10-28 (更新: 2025-11-01)
备注: Preprint, Under Review
🔗 代码/项目: GITHUB
💡 一句话要点
MCP-Flow:促进LLM Agent掌握真实、多样且可扩展的MCP工具
🎯 匹配领域: 支柱九:具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 LLM Agent 模型上下文协议 MCP工具 自动化数据合成
📋 核心要点
- 现有LLM Agent在利用模型上下文协议(MCP)工具时,面临服务器覆盖不足、数据标注成本高昂和缺乏有效训练支持等挑战。
- MCP-Flow通过自动化web-agent驱动的pipeline,实现了大规模服务器发现、数据合成和模型训练,从而提升LLM Agent的MCP工具使用能力。
- 实验结果表明,MCP-Flow能够有效提升LLM Agent在MCP工具选择、函数调用生成和Agent任务执行方面的性能。
📝 摘要(中文)
大型语言模型(LLM)越来越多地依赖外部工具来执行复杂的、现实的任务,但它们利用快速扩展的模型上下文协议(MCP)生态系统的能力仍然有限。现有的MCP研究覆盖的服务器数量少,依赖于昂贵的手动管理,并且缺乏训练支持,阻碍了向实际部署的进展。为了克服这些限制,我们引入了MCP-Flow,这是一个自动化的web-agent驱动的pipeline,用于大规模服务器发现、数据合成和模型训练。MCP-Flow收集和过滤来自1166个服务器和11536个工具的数据,生成68733个高质量的指令-函数调用对和6439个轨迹,在规模和多样性上远远超过了之前的工作。大量的实验表明,MCP-Flow在驱动卓越的MCP工具选择、函数调用生成和增强的agent任务性能方面的有效性。因此,MCP-Flow为提高LLM Agent在真实MCP环境中的熟练程度提供了一个可扩展的基础。
🔬 方法详解
问题定义:现有的大型语言模型(LLM)在利用外部工具,特别是模型上下文协议(MCP)工具时,面临着诸多挑战。现有的MCP研究通常只覆盖少量服务器,依赖于昂贵的人工标注数据,并且缺乏有效的训练支持,这严重限制了LLM Agent在真实世界中的应用能力。因此,如何高效地发现和利用大规模、多样化的MCP工具成为了一个亟待解决的问题。
核心思路:MCP-Flow的核心思路是利用一个自动化的web-agent驱动的pipeline来解决上述问题。该pipeline能够自动地从互联网上发现大量的MCP服务器和工具,并合成高质量的训练数据,从而为LLM Agent提供充足的训练资源。通过这种方式,MCP-Flow能够显著提升LLM Agent在MCP工具选择、函数调用生成和Agent任务执行方面的性能。
技术框架:MCP-Flow的整体架构包含三个主要模块:服务器发现模块、数据合成模块和模型训练模块。服务器发现模块负责自动地从互联网上爬取和过滤MCP服务器和工具的信息。数据合成模块利用这些信息生成高质量的指令-函数调用对和轨迹数据。模型训练模块则利用这些数据来训练LLM Agent,使其能够更好地利用MCP工具。
关键创新:MCP-Flow最重要的技术创新点在于其自动化的数据合成pipeline。该pipeline能够高效地生成大规模、多样化的训练数据,从而避免了人工标注的成本和限制。此外,MCP-Flow还提出了一种新的数据过滤方法,能够有效地去除噪声数据,保证训练数据的质量。
关键设计:在数据合成模块中,MCP-Flow采用了一种基于模板的方法来生成指令-函数调用对。具体来说,它首先定义了一系列模板,然后根据MCP工具的描述信息填充这些模板,从而生成指令-函数调用对。为了保证数据的质量,MCP-Flow还设计了一系列过滤规则,用于去除不符合要求的指令-函数调用对。
🖼️ 关键图片
📊 实验亮点
MCP-Flow收集并过滤了来自1166个服务器和11536个工具的数据,生成了68733个高质量的指令-函数调用对和6439个轨迹,在规模和多样性上远超以往工作。实验结果表明,MCP-Flow能够有效提升LLM Agent在MCP工具选择、函数调用生成和Agent任务执行方面的性能。
🎯 应用场景
MCP-Flow的研究成果可以广泛应用于各种需要LLM Agent与外部工具交互的场景,例如智能助手、自动化运维、科学研究等。通过利用MCP-Flow,可以显著提升LLM Agent在这些场景中的任务完成效率和准确性,从而带来巨大的实际价值。未来,MCP-Flow有望成为LLM Agent与外部工具交互的标准框架。
📄 摘要(原文)
Large Language Models (LLMs) increasingly rely on external tools to perform complex, realistic tasks, yet their ability to utilize the rapidly expanding Model Contextual Protocol (MCP) ecosystem remains limited. Existing MCP research covers few servers, depends on costly manual curation, and lacks training support, hindering progress toward real-world deployment. To overcome these limitations, we introduce MCP-Flow, an automated web-agent-driven pipeline for large-scale server discovery, data synthesis, and model training. MCP-Flow collects and filters data from 1166 servers and 11536 tools, producing 68733 high-quality instruction-function call pairs and 6439 trajectories, far exceeding prior work in scale and diversity. Extensive experiments demonstrate MCP-Flow's effectiveness in driving superior MCP tool selection, function-call generation, and enhanced agentic task performance. MCP-Flow thus provides a scalable foundation for advancing LLM agents' proficiency in real-world MCP environments. MCP-Flow is publicly available at \href{https://github.com/wwh0411/MCP-Flow}{https://github.com/wwh0411/MCP-Flow}.