Controllable and Reliable Knowledge-Intensive Task-Oriented Conversational Agents with Declarative Genie Worksheets

📄 arXiv: 2407.05674v3 📥 PDF

作者: Harshit Joshi, Shicheng Liu, James Chen, Robert Weigle, Monica S. Lam

分类: cs.AI, cs.CL, cs.PL

发布日期: 2024-07-08 (更新: 2025-06-17)

备注: Accepted at ACL 2025

💡 一句话要点

Genie：通过声明式工作表实现可控且可靠的知识密集型任务导向对话Agent

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话Agent 大型语言模型 知识密集型任务 声明式编程 对话状态管理

📋 核心要点

  1. 现有对话Agent在知识整合、逻辑推理和避免幻觉方面存在不足，限制了其在实际任务中的应用。
  2. Genie框架通过声明式工作表和算法运行时系统，实现对Agent策略的精确控制和可靠的知识检索。
  3. 实验表明，Genie Agent在真实场景中显著提升了任务完成率，优于直接使用大型语言模型的方法。

📝 摘要（中文）

大型语言模型（LLM）能够在各种环境中进行类人对话，响应用户对任务和知识的请求。然而，现有的基于LLM的对话Agent常常面临幻觉、条件逻辑执行以及整合不同来源知识的挑战。这些缺陷降低了Agent的有效性，使其不适合部署。为了解决这些问题，我们提出了Genie，一个可编程框架，用于创建知识密集型任务导向的对话Agent。Genie可以处理复杂的交互并回答复杂的查询。与LLM不同，它通过高级对话状态管理提供可靠、基于事实的响应，并通过其声明式规范——Genie工作表——支持可控的Agent策略。这通过实现开发者提供的策略的算法运行时系统来实现，限制LLM仅用于（1）使用简洁的对话历史记录解析用户输入，以及（2）根据提供的上下文生成响应。使用Genie构建的Agent在复杂逻辑对话数据集上优于SOTA方法。我们对62名参与者进行了用户研究，涉及三个真实应用：使用Yelp的餐厅预订，以及大学生的提交工单和课程注册。配备GPT-4 Turbo的Genie Agent优于使用函数调用的GPT-4 Turbo Agent，在三个真实世界任务中将目标完成率从21.8%提高到82.8%。

🔬 方法详解

问题定义：现有基于大型语言模型的对话Agent在处理知识密集型任务时，容易出现幻觉、难以遵循复杂的条件逻辑，并且难以整合来自不同来源的知识。这些问题导致Agent的可靠性和可控性不足，限制了其在实际应用中的部署。

核心思路：Genie的核心思路是通过引入一个可编程的框架，将对话策略的控制权从大型语言模型转移到开发者手中。开发者可以使用声明式的Genie工作表来定义Agent的行为，并通过算法运行时系统来执行这些策略。这样可以限制大型语言模型的作用，使其仅负责解析用户输入和生成响应，从而提高Agent的可靠性和可控性。

技术框架：Genie框架包含以下主要模块：1) Genie工作表：开发者使用声明式语言定义Agent的对话策略，包括状态转换、知识查询和响应生成。2) 算法运行时系统：负责执行Genie工作表中定义的策略，管理对话状态，并调用大型语言模型进行用户输入解析和响应生成。3) 大型语言模型：仅用于解析用户输入，提取意图和实体，以及根据运行时系统提供的上下文生成自然语言响应。

关键创新：Genie的关键创新在于其声明式的对话策略定义方式和算法运行时系统。与传统的基于大型语言模型的对话Agent相比，Genie能够提供更精确的控制和更高的可靠性，避免了大型语言模型可能产生的幻觉和不一致性。

关键设计：Genie工作表使用一种声明式语言，允许开发者定义对话状态、状态转换规则、知识查询和响应模板。算法运行时系统负责解析Genie工作表，并根据当前对话状态和用户输入执行相应的操作。大型语言模型的使用被限制在用户输入解析和响应生成两个步骤，并且运行时系统会提供明确的上下文信息，以减少幻觉的风险。具体的参数设置和损失函数等技术细节在论文中未详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在三个真实世界的任务（餐厅预订、提交工单和课程注册）中，配备GPT-4 Turbo的Genie Agent优于使用函数调用的GPT-4 Turbo Agent，目标完成率从21.8%显著提高到82.8%。这表明Genie框架能够有效提升对话Agent的性能和可靠性。

🎯 应用场景

Genie框架可应用于各种知识密集型任务导向的对话场景，例如：智能客服、虚拟助手、教育辅导等。通过Genie，开发者可以构建更加可靠、可控的对话Agent，提升用户体验，并降低部署和维护成本。该研究的成果有助于推动对话Agent在实际应用中的普及。

📄 摘要（原文）

Large Language Models can carry out human-like conversations in diverse settings, responding to user requests for tasks and knowledge. However, existing conversational agents implemented with LLMs often struggle with hallucination, following instructions with conditional logic, and integrating knowledge from different sources. These shortcomings compromise the agents' effectiveness, rendering them unsuitable for deployment. To address these challenges, we introduce Genie, a programmable framework for creating knowledge-intensive task-oriented conversational agents. Genie can handle involved interactions and answer complex queries. Unlike LLMs, it delivers reliable, grounded responses through advanced dialogue state management and supports controllable agent policies via its declarative specification -- Genie Worksheet. This is achieved through an algorithmic runtime system that implements the developer-supplied policy, limiting LLMs to (1) parse user input using a succinct conversational history, and (2) generate responses according to supplied context. Agents built with Genie outperform SOTA methods on complex logic dialogue datasets. We conducted a user study with 62 participants on three real-life applications: restaurant reservations with Yelp, as well as ticket submission and course enrollment for university students. Genie agents with GPT-4 Turbo outperformed the GPT-4 Turbo agents with function calling, improving goal completion rates from 21.8% to 82.8% across three real-world tasks.