SoAy: A Solution-based LLM API-using Methodology for Academic Information Seeking

📄 arXiv: 2405.15165v2 📥 PDF

作者: Yuanchun Wang, Jifan Yu, Zijun Yao, Jing Zhang, Yuyang Xie, Shangqing Tu, Yiyang Fu, Youhe Feng, Jinkai Zhang, Jingyao Zhang, Bowen Huang, Yuanyao Li, Huihui Yuan, Lei Hou, Juanzi Li, Jie Tang

分类: cs.CL, cs.AI, cs.SE

发布日期: 2024-05-24 (更新: 2025-08-28)

备注: KDD 2025; 22 pages, 13 figures

DOI: 10.1145/3690624.3709412

🔗 代码/项目: GITHUB

💡 一句话要点

提出SoAy：一种基于解决方案的LLM API调用方法，用于学术信息检索

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 API调用 学术信息检索 解决方案 代码推理

📋 核心要点

  1. 现有LLM API调用方法难以处理学术查询中复杂的API耦合问题，限制了其在学术信息检索中的应用。
  2. SoAy采用基于解决方案的代码作为推理方法，预先构建API调用序列，降低模型理解API复杂关系难度。
  3. 实验表明，SoAy在学术信息检索任务中，相比现有方法性能提升显著，达到34.58%-75.99%。

📝 摘要（中文）

本文提出了一种基于解决方案的大语言模型（LLM）API调用方法SoAy，用于学术信息检索，旨在减少研究人员在学术信息获取方面的工作量。现有的LLM API调用方法难以处理学术查询中常见的复杂API耦合问题。SoAy采用带有解决方案的代码作为推理方法，其中解决方案是预先构建的API调用序列。解决方案的加入降低了模型理解API之间复杂关系的难度，而代码提高了推理效率。为了评估SoAy，我们构建了SoAyBench评估基准，并配套SoAyEval评估工具，它们基于AMiner的API克隆环境。实验结果表明，与最先进的基于LLM API的基线方法相比，SoAy的性能提升了34.58%-75.99%。所有数据集、代码、微调模型和部署的在线服务均已公开。

🔬 方法详解

问题定义：论文旨在解决学术信息检索中，现有大语言模型（LLM）API调用方法难以处理复杂API耦合的问题。在学术查询中，往往需要组合多个API才能完成任务，而现有方法在理解和执行这种复杂的API调用链时表现不佳，导致检索效率和准确性降低。

核心思路：论文的核心思路是引入“解决方案”（Solution）的概念，将复杂的API调用序列预先构建好，并将其与代码结合，作为LLM的推理方法。通过预先定义好的API调用序列，降低了LLM理解API之间复杂关系的难度，使其能够更有效地执行学术信息检索任务。

技术框架：SoAy的技术框架主要包含以下几个部分：1) 解决方案构建：预先定义一系列API调用序列，每个序列对应一个特定的学术信息检索需求。2) 代码生成：将解决方案转化为可执行的代码，代码中包含API调用和数据处理逻辑。3) LLM推理：使用LLM以代码和解决方案作为输入，进行推理，生成最终的API调用和结果。4) SoAyBench & SoAyEval：构建评估基准和评估工具，用于评估SoAy的性能。

关键创新：SoAy的关键创新在于引入了“解决方案”这一概念，并将其与代码结合，作为LLM的推理方法。这种方法有效地降低了LLM理解复杂API关系的难度，提高了学术信息检索的效率和准确性。与现有方法相比，SoAy不再依赖LLM直接生成复杂的API调用序列，而是通过预定义的解决方案来引导LLM的推理过程。

关键设计：论文中没有详细描述关键参数设置、损失函数或网络结构等技术细节。但是，解决方案的构建是关键设计之一，需要根据不同的学术信息检索需求，精心设计API调用序列。此外，代码生成过程也需要保证代码的正确性和可执行性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SoAy在SoAyBench评估基准上，相比于最先进的基于LLM API的基线方法，性能提升了34.58%-75.99%。这一显著的性能提升证明了SoAy在处理复杂API耦合问题方面的有效性，以及其在学术信息检索领域的潜力。

🎯 应用场景

SoAy可应用于各种学术信息检索场景，例如论文搜索、学者信息查询、研究领域分析等。该方法能够帮助研究人员更高效地获取所需的学术信息，从而加速科研进程。未来，SoAy可以扩展到其他领域的API调用，例如金融、医疗等，具有广阔的应用前景。

📄 摘要（原文）

Applying large language models (LLMs) for academic API usage shows promise in reducing researchers' academic information seeking efforts. However, current LLM API-using methods struggle with complex API coupling commonly encountered in academic queries. To address this, we introduce SoAy, a solution-based LLM API-using methodology for academic information seeking. It uses code with a solution as the reasoning method, where a solution is a pre-constructed API calling sequence. The addition of the solution reduces the difficulty for the model to understand the complex relationships between APIs. Code improves the efficiency of reasoning. To evaluate SoAy, we introduce SoAyBench, an evaluation benchmark accompanied by SoAyEval, built upon a cloned environment of APIs from AMiner. Experimental results demonstrate a 34.58-75.99\% performance improvement compared to state-of-the-art LLM API-based baselines. All datasets, codes, tuned models, and deployed online services are publicly accessible at https://github.com/RUCKBReasoning/SoAy.