FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking

📄 arXiv: 2407.13945v1 📥 PDF

作者: Zhuoer Wang, Leonardo F. R. Ribeiro, Alexandros Papangelis, Rohan Mukherjee, Tzu-Yen Wang, Xinyan Zhao, Arijit Biswas, James Caverlee, Angeliki Metallinou

分类: cs.CL

发布日期: 2024-07-18

💡 一句话要点

提出FANTASE框架，通过状态追踪约束解码和重排序，实现API调用的忠实高效生成。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: API调用生成 语言模型 约束解码 重排序 工具使用

📋 核心要点

  1. 现有API调用生成方法训练成本高昂，数据利用率低，且生成的API调用可能不符合API文档和用户请求。
  2. FANTASE框架通过状态追踪约束解码（SCD）和重排序，保证生成API调用与API文档的一致性，并提高生成质量。
  3. 实验表明，FANTASE在API调用生成准确性、推理效率和上下文效率方面均优于现有方法，并在DSTC8和API Bank数据集上验证了其有效性。

📝 摘要（中文）

API调用生成是大型语言模型工具使用的基石，它提供了访问更广阔世界的能力。然而，现有的监督学习和上下文学习方法存在训练成本高、数据效率低以及生成的API调用不符合API文档和用户请求的问题。为了解决这些限制，我们提出了一种输出侧优化方法，称为FANTASE。FANTASE的两个独特贡献是其状态追踪约束解码（SCD）和重排序组件。SCD以Token Search Trie的形式动态地整合适当的API约束，以实现高效且保证生成的API调用对API文档的忠实性。重排序组件通过利用轻量级模型作为判别器来对大型语言模型的beam search候选生成结果进行重排序，从而有效地引入监督信号。我们在DSTC8和API Bank数据集上证明了FANTASE在API调用生成准确性、推理效率和上下文效率方面的优越性能。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在API调用生成任务中，现有方法存在的训练成本高、数据效率低以及生成结果不符合API文档和用户请求的问题。现有方法难以保证生成API调用的正确性和可靠性，限制了语言模型工具使用的能力。

核心思路：论文的核心思路是通过输出侧优化，在解码过程中引入API约束，并利用轻量级模型进行重排序，从而保证生成API调用的忠实性和准确性。这种方法避免了对大型语言模型进行昂贵的微调，并提高了数据效率。

技术框架：FANTASE框架主要包含两个核心模块：状态追踪约束解码（SCD）和重排序。SCD模块在解码过程中动态地应用API约束，确保生成的token序列符合API文档的规范。重排序模块利用轻量级判别器模型对SCD生成的候选API调用进行排序，选择最符合用户意图的API调用。整体流程是先通过SCD生成多个候选API调用，然后使用重排序模块选择最佳结果。

关键创新：FANTASE的关键创新在于状态追踪约束解码（SCD）和重排序的结合。SCD通过Token Search Trie高效地整合API约束，保证生成结果的忠实性。重排序模块则利用监督信号进一步提升生成质量。与现有方法相比，FANTASE无需对大型语言模型进行微调，且能更有效地利用API文档信息。

关键设计：SCD模块使用Token Search Trie来表示API约束，并在解码过程中动态更新Trie的状态，确保生成的token序列始终符合API规范。重排序模块使用一个轻量级的判别器模型，该模型可以是一个简单的分类器或回归器，用于评估候选API调用的质量。损失函数的设计需要考虑API调用的正确性和与用户意图的相关性。具体参数设置和网络结构的选择取决于具体的API和数据集。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FANTASE在DSTC8和API Bank数据集上取得了显著的性能提升。实验结果表明，FANTASE在API调用生成准确性、推理效率和上下文效率方面均优于现有方法。具体数据提升幅度未知，但论文强调了其在多个指标上的优越性，表明FANTASE是一种有效的API调用生成方法。

🎯 应用场景

FANTASE框架可应用于各种需要语言模型进行API调用的场景，例如智能助手、自动化流程、软件开发等。该研究有助于提高语言模型工具使用的可靠性和效率，降低开发成本，并促进人机协作的智能化发展。未来，该技术有望应用于更复杂的API调用场景，并与其他自然语言处理技术相结合，实现更强大的自动化功能。

📄 摘要（原文）

API call generation is the cornerstone of large language models' tool-using ability that provides access to the larger world. However, existing supervised and in-context learning approaches suffer from high training costs, poor data efficiency, and generated API calls that can be unfaithful to the API documentation and the user's request. To address these limitations, we propose an output-side optimization approach called FANTASE. Two of the unique contributions of FANTASE are its State-Tracked Constrained Decoding (SCD) and Reranking components. SCD dynamically incorporates appropriate API constraints in the form of Token Search Trie for efficient and guaranteed generation faithfulness with respect to the API documentation. The Reranking component efficiently brings in the supervised signal by leveraging a lightweight model as the discriminator to rerank the beam-searched candidate generations of the large language model. We demonstrate the superior performance of FANTASE in API call generation accuracy, inference efficiency, and context efficiency with DSTC8 and API Bank datasets.