Data-Driven Function Calling Improvements in Large Language Model for Online Financial QA
作者: Xing Tang, Hao Chen, Shiwei Li, Fuyuan Lyu, Weijie Shi, Lingjie Li, Dugang Liu, Weihong Luo, Xiku Du, Xiuqiang He
分类: cs.IR, cs.CL
发布日期: 2026-04-07
备注: Accepted to Webconf 2026 industry track
💡 一句话要点
提出数据驱动的函数调用改进方案，提升大语言模型在在线金融问答中的性能。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 函数调用 金融问答 数据增强 在线系统
📋 核心要点
- 通用大语言模型在金融场景下的函数调用能力不足，难以适应金融领域的专业性和用户查询的多样性。
- 论文提出一种数据驱动的流程，通过数据集构建、数据增强和模型训练，提升LLM在金融问答中的函数调用能力。
- 实验结果表明，该流程在离线数据集和在线部署中均表现出优越性，并在实际金融QA系统中得到应用。
📝 摘要（中文）
大型语言模型（LLMs）已被广泛应用于各种工业场景。同时，金融领域存在大量分散在各种函数中的API资产。在线金融问答系统可以利用LLMs和私有API来提供及时的金融分析和信息。关键在于使LLM模型具备针对金融场景定制的函数调用能力。然而，通用LLM需要定制的金融API才能调用，并且难以适应金融领域。此外，与所需的函数输入参数相比，在线用户查询是多样化的，并且包含分布外的参数，这使得通用LLM更难以服务在线用户。在本文中，我们提出了一个数据驱动的流程，以增强LLM在我们的在线部署的金融QA中的函数调用能力，包括数据集构建、数据增强和模型训练。具体来说，我们基于先前的研究构建数据集并定期更新它，结合查询和名为AugFC的增强方法。用户查询相关样本的添加将以数据驱动的方式 extit{利用}我们的金融工具集，并且AugFC探索可能的参数值以增强我们更新数据集的多样性。然后，我们使用两步法训练LLM，从而可以使用我们的金融函数。在现有离线数据集上的大量实验以及在线场景的部署证明了我们流程的优越性。相关的流程已在元宝（中国最大的聊天平台之一）的金融QA中采用。
🔬 方法详解
问题定义：现有通用大语言模型在金融领域的函数调用面临挑战。一方面，通用LLM需要定制的金融API才能有效调用，缺乏对金融领域专业知识的理解。另一方面，在线用户查询具有多样性，包含大量分布外的参数，使得LLM难以准确识别并调用合适的金融函数。
核心思路：论文的核心思路是通过数据驱动的方式，使LLM更好地适应金融场景。具体而言，通过构建和增强包含用户查询和金融API调用信息的数据集，使LLM能够学习到金融领域的知识和用户查询的模式，从而提高函数调用的准确性和效率。
技术框架：该方法包含三个主要阶段：数据集构建、数据增强和模型训练。首先，基于现有研究构建初始数据集，并定期更新，加入新的用户查询和API调用信息。其次，使用名为AugFC的数据增强方法，探索可能的参数值，增加数据集的多样性。最后，使用两步法训练LLM，使其能够有效利用金融函数。
关键创新：该方法最重要的创新在于其数据驱动的特性。通过不断更新和增强数据集，使LLM能够持续学习和适应金融领域的变化和用户需求。AugFC数据增强方法能够有效提高数据集的多样性，从而提高模型的泛化能力。
关键设计：AugFC数据增强方法是关键设计之一，它通过探索可能的参数值，生成新的训练样本，从而提高数据集的多样性。两步训练方法也是关键设计，具体细节未知，但其目标是使LLM能够有效利用金融函数。
🖼️ 关键图片
📊 实验亮点
论文通过在现有离线数据集上的大量实验以及在线场景的部署，验证了所提出流程的优越性。具体性能数据未知，但结果表明该方法能够有效提升LLM在金融问答中的函数调用能力，并在实际应用中取得了良好的效果。该流程已在腾讯元宝的金融QA中采用。
🎯 应用场景
该研究成果可应用于各种在线金融问答系统，帮助用户快速获取金融信息和分析。通过提升LLM的函数调用能力，可以实现更智能、更高效的金融服务，例如智能投顾、风险评估和金融产品推荐。该方法已在腾讯元宝的金融QA中采用，具有广泛的应用前景。
📄 摘要（原文）
Large language models (LLMs) have been incorporated into numerous industrial applications. Meanwhile, a vast array of API assets is scattered across various functions in the financial domain. An online financial question-answering system can leverage both LLMs and private APIs to provide timely financial analysis and information. The key is equipping the LLM model with function calling capability tailored to a financial scenario. However, a generic LLM requires customized financial APIs to call and struggles to adapt to the financial domain. Additionally, online user queries are diverse and contain out-of-distribution parameters compared with the required function input parameters, which makes it more difficult for a generic LLM to serve online users. In this paper, we propose a data-driven pipeline to enhance function calling in LLM for our online, deployed financial QA, comprising dataset construction, data augmentation, and model training. Specifically, we construct a dataset based on a previous study and update it periodically, incorporating queries and an augmentation method named AugFC. The addition of user query-related samples will \textit{exploit} our financial toolset in a data-driven manner, and AugFC explores the possible parameter values to enhance the diversity of our updated dataset. Then, we train an LLM with a two-step method, which enables the use of our financial functions. Extensive experiments on existing offline datasets, as well as the deployment of an online scenario, illustrate the superiority of our pipeline. The related pipeline has been adopted in the financial QA of YuanBao\footnote{https://yuanbao.tencent.com/chat/}, one of the largest chat platforms in China.