Eliciting Problem Specifications via Large Language Models
作者: Robert E. Wray, James R. Kirk, John E. Laird
分类: cs.AI, cs.CL
发布日期: 2024-05-20 (更新: 2024-06-10)
备注: 18 pages, Appendix. Revised in response to reviewer feedback. Accepted for Advances in Cognitive Systems (Jun 2024, Palermo)
💡 一句话要点
利用大型语言模型自动生成认知系统可用的问题规范
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 认知系统 问题规范 自然语言处理 任务规划
📋 核心要点
- 认知系统依赖人工将问题转化为机器可理解的规范，过程繁琐且易出错。
- 利用LLM将自然语言问题描述自动转化为半形式化规范，供认知系统直接使用。
- 初步实验表明，该方法能加速认知系统研究，并保留其推理和学习能力。
📝 摘要（中文）
认知系统通常需要人工将问题定义转换为系统可用的规范。本文展示了如何利用大型语言模型（LLM）将自然语言描述的问题类别映射为半形式化的规范，供现有的推理和学习系统解决该问题类的实例。我们提出了一个基于LLM的认知任务分析代理的设计。该系统利用LLM代理，为自然语言描述的任务生成问题空间定义。LLM的提示语来源于AI文献中问题空间的定义和通用的问题解决策略（Polya的《How to Solve It》）。认知系统随后可以利用该问题空间规范，应用领域通用的问题解决策略（如搜索等“弱方法”）来解决该问题类的多个实例。虽然结果是初步的，但它表明可以通过消除问题形式化的人工干预，同时保留认知系统的核心能力（如鲁棒的推理和在线学习），来加速认知系统研究。
🔬 方法详解
问题定义：论文旨在解决认知系统中问题规范人工定义的瓶颈。现有方法需要人工将自然语言描述的问题转化为认知系统能够理解和处理的半形式化规范，这个过程耗时且容易出错，限制了认知系统的应用和发展。
核心思路：论文的核心思路是利用大型语言模型（LLM）的强大自然语言理解和生成能力，自动将自然语言描述的问题转化为半形式化的规范。通过精心设计的提示语，引导LLM理解问题并生成相应的规范，从而减少人工干预，提高效率。
技术框架：该方法构建了一个基于LLM的认知任务分析代理。整体流程如下：1. 输入：接收自然语言描述的问题类别。2. LLM提示语生成：根据AI文献中问题空间的定义和通用问题解决策略（如Polya的《How to Solve It》）生成LLM的提示语。3. LLM推理：LLM根据提示语生成半形式化的规范，包括问题空间、算子等。4. 认知系统应用：认知系统利用生成的规范，应用领域通用的问题解决策略（如搜索）解决问题实例。
关键创新：该方法最重要的创新点在于利用LLM自动生成问题规范，从而减少或消除人工干预。与传统方法相比，该方法能够更快速、更灵活地适应新的问题类别，并降低了认知系统开发和应用的门槛。
关键设计：论文的关键设计包括：1. LLM提示语的设计：提示语需要包含足够的信息，引导LLM理解问题的本质并生成正确的规范。2. 半形式化规范的定义：规范需要足够清晰和完整，以便认知系统能够有效地利用它来解决问题。3. 认知系统的选择：选择合适的认知系统，使其能够充分利用LLM生成的规范。
🖼️ 关键图片
📊 实验亮点
论文初步实验表明，利用LLM生成的规范，认知系统能够成功解决多个问题实例。虽然没有提供具体的性能数据和对比基线，但结果表明该方法具有可行性和潜力，能够加速认知系统研究，并保留其鲁棒的推理和在线学习能力。
🎯 应用场景
该研究成果可应用于自动化任务规划、智能机器人、游戏AI等领域。通过自动生成问题规范，可以降低认知系统的开发成本，提高其适应性和智能化水平，加速相关领域的创新和发展。未来，该技术有望应用于更复杂的认知任务，例如自动驾驶、医疗诊断等。
📄 摘要（原文）
Cognitive systems generally require a human to translate a problem definition into some specification that the cognitive system can use to attempt to solve the problem or perform the task. In this paper, we illustrate that large language models (LLMs) can be utilized to map a problem class, defined in natural language, into a semi-formal specification that can then be utilized by an existing reasoning and learning system to solve instances from the problem class. We present the design of LLM-enabled cognitive task analyst agent(s). Implemented with LLM agents, this system produces a definition of problem spaces for tasks specified in natural language. LLM prompts are derived from the definition of problem spaces in the AI literature and general problem-solving strategies (Polya's How to Solve It). A cognitive system can then use the problem-space specification, applying domain-general problem solving strategies ("weak methods" such as search), to solve multiple instances of problems from the problem class. This result, while preliminary, suggests the potential for speeding cognitive systems research via disintermediation of problem formulation while also retaining core capabilities of cognitive systems, such as robust inference and online learning.