LLM+Reasoning+Planning for Supporting Incomplete User Queries in Presence of APIs

📄 arXiv: 2405.12433v3 📥 PDF

作者: Sudhir Agarwal, Anu Sreepathy, David H. Alonso, Prarit Lamba

分类: cs.AI

发布日期: 2024-05-21 (更新: 2025-02-13)

备注: In Proceedings ICLP 2024, arXiv:2502.08453

期刊: EPTCS 416, 2025, pp. 29-58

DOI: 10.4204/EPTCS.416.3

💡 一句话要点

提出LLM+推理+规划方法，解决API场景下不完整用户查询问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 逻辑推理 AI规划 API编排 不完整查询 PDDL ASP

📋 核心要点

  1. 现有LLM方法在处理不完整的用户查询时，容易产生幻觉或难以编排API，导致回答不准确。
  2. 该方法结合LLM、逻辑推理和AI规划，通过PDDL表示用户查询和API，并使用规划器生成API调用序列。
  3. 实验表明，该方法在处理不完整查询时，显著优于纯LLM方法，成功率超过95%。

📝 摘要（中文）

本文提出了一种基于大型语言模型（LLM）的方法，结合逻辑推理和经典AI规划，旨在更准确地回答用户查询，特别是当查询不完整，缺少API所需信息时。该方法利用LLM和ASP（Answer Set Programming）求解器将用户查询转换为规划领域定义语言（PDDL）表示，并通过ASP进行中间表示。引入了特殊的“get_info_api”来收集缺失信息。所有API都被建模为PDDL动作，支持API之间的数据流。然后，使用经典AI规划器生成API调用的编排（包括对get_info_api的调用）来回答用户查询。评估结果表明，该方法在包含完整和不完整单目标和多目标查询的数据集上，显著优于纯LLM方法，在大多数情况下成功率超过95%，其中多目标查询可能需要或不需要API之间的数据流。

🔬 方法详解

问题定义：论文旨在解决API驱动的任务中，用户查询不完整的问题。现有方法，特别是纯LLM方法，在面对缺失信息时，容易产生幻觉，或者难以正确地编排API调用序列，导致任务失败。

核心思路：核心思路是将用户查询转化为一个规划问题，利用经典AI规划技术来生成API调用序列。通过引入一个特殊的“get_info_api”，可以主动地收集缺失的信息，从而避免LLM的幻觉问题。同时，将API建模为PDDL动作，支持API之间的数据流，使得可以处理更复杂的任务。

技术框架：整体框架包括以下几个主要模块：1) 用户查询解析：使用LLM和ASP求解器将用户查询转换为PDDL表示。2) 信息收集：引入“get_info_api”来收集缺失的信息。3) API建模：将所有API建模为PDDL动作，支持API之间的数据流。4) 规划：使用经典AI规划器生成API调用序列。

关键创新：最重要的创新点在于将LLM与经典AI规划技术相结合，利用LLM进行自然语言理解，利用AI规划进行API编排和信息收集。这种结合可以有效地解决纯LLM方法在处理不完整查询时的不足。

关键设计：论文的关键设计包括：1) 使用ASP作为中间表示，方便将用户查询转换为PDDL。2) 设计“get_info_api”来收集缺失信息。3) 将API建模为PDDL动作，支持API之间的数据流。这些设计使得该方法可以有效地处理不完整的用户查询。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，该方法在处理包含完整和不完整单目标和多目标查询的数据集上，显著优于纯LLM方法。在大多数情况下，该方法的成功率超过95%，证明了其在处理不完整用户查询方面的有效性。尤其是在多目标查询场景下，该方法的优势更加明显。

🎯 应用场景

该研究成果可应用于智能助手、自动化服务编排等领域。例如，在预定机票或酒店时，即使客户提供的信息不完整，系统也能通过主动询问缺失信息，最终完成预定。该方法具有很高的实际应用价值，可以提高用户体验和自动化服务的效率。

📄 摘要（原文）

Recent availability of Large Language Models (LLMs) has led to the development of numerous LLM-based approaches aimed at providing natural language interfaces for various end-user tasks. These end-user tasks in turn can typically be accomplished by orchestrating a given set of APIs. In practice, natural language task requests (user queries) are often incomplete, i.e., they may not contain all the information required by the APIs. While LLMs excel at natural language processing (NLP) tasks, they frequently hallucinate on missing information or struggle with orchestrating the APIs. The key idea behind our proposed approach is to leverage logical reasoning and classical AI planning along with an LLM for accurately answering user queries including identification and gathering of any missing information in these queries. Our approach uses an LLM and ASP (Answer Set Programming) solver to translate a user query to a representation in Planning Domain Definition Language (PDDL) via an intermediate representation in ASP. We introduce a special API "get_info_api" for gathering missing information. We model all the APIs as PDDL actions in a way that supports dataflow between the APIs. Our approach then uses a classical AI planner to generate an orchestration of API calls (including calls to get_info_api) to answer the user query. Our evaluation results show that our approach significantly outperforms a pure LLM based approach by achieving over 95% success rate in most cases on a dataset containing complete and incomplete single goal and multi-goal queries where the multi-goal queries may or may not require dataflow among the APIs.