Skill Learning Using Process Mining for Large Language Model Plan Generation
作者: Andrei Cosmin Redis, Mohammadreza Fani Sani, Bahram Zarrin, Andrea Burattin
分类: cs.CL, cs.AI, cs.DB, cs.ET, cs.LG
发布日期: 2024-10-14
备注: 12 pages, 5 figures, 2 tables, accepted at ICPM 2024'
💡 一句话要点
融合过程挖掘技术，提升大语言模型生成复杂任务规划能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 过程挖掘 技能学习 任务规划 过程模型
📋 核心要点
- 现有大语言模型在复杂任务规划中存在顺序执行、缺乏控制流模型和技能检索困难等问题。
- 该论文提出将过程挖掘技术融入大语言模型，实现技能的自动获取、存储和检索，从而提升规划能力。
- 实验结果表明，该方法在技能检索方面优于现有技术，提升了规划生成的可解释性和灵活性。
📝 摘要（中文）
大型语言模型（LLMs）在生成复杂任务规划方面展现出潜力，但其有效性受到顺序执行、缺乏控制流模型以及技能检索困难的限制。解决这些问题对于提高LLMs在自动化和决策制定中的效率和可解释性至关重要。本文提出了一种新颖的LLMs技能学习方法，通过集成过程挖掘技术，利用过程发现进行技能获取，过程模型进行技能存储，以及一致性检查进行技能检索。我们的方法通过实现灵活的技能发现、并行执行和改进的可解释性来增强基于文本的规划生成。实验结果表明了该方法的有效性，在特定条件下，我们的技能检索方法超过了最先进的准确率基线。
🔬 方法详解
问题定义：现有的大语言模型在生成复杂任务的规划时，主要面临三个痛点：一是规划的执行是顺序的，缺乏并行性；二是缺乏明确的控制流模型，难以处理复杂的条件分支和循环；三是技能检索效率低，无法快速找到合适的技能来完成任务。这些问题限制了LLM在自动化和决策制定中的应用。
核心思路：该论文的核心思路是将过程挖掘技术与大语言模型相结合。过程挖掘能够从事件日志中自动发现流程模型，这些模型可以用来表示技能。通过将技能表示为过程模型，可以实现技能的灵活发现、并行执行和可解释性。同时，利用过程挖掘中的一致性检查技术，可以有效地进行技能检索。
技术框架：该方法主要包含三个阶段：技能获取、技能存储和技能检索。在技能获取阶段，利用过程发现技术从事件日志或文本描述中提取技能。在技能存储阶段，将提取的技能存储为过程模型，例如Petri网或BPMN。在技能检索阶段，利用一致性检查技术，根据当前的任务需求，从技能库中检索出最合适的技能。
关键创新：该论文最重要的创新点在于将过程挖掘技术应用于大语言模型的技能学习。与传统的基于文本的技能表示方法相比，过程模型能够更清晰地表达技能的控制流和依赖关系，从而实现更灵活和可解释的规划生成。此外，利用一致性检查进行技能检索，可以有效地提高检索的准确率。
关键设计：论文中，过程发现算法的选择、过程模型的表示方式以及一致性检查算法的设计是关键。具体的过程发现算法和一致性检查算法的选择取决于具体的应用场景和数据特征。过程模型的表示方式需要能够清晰地表达技能的控制流和依赖关系，同时也要易于存储和检索。一致性检查算法需要能够快速地判断一个技能是否符合当前的任务需求。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在技能检索方面取得了显著的提升。在特定条件下，该方法的准确率超过了现有最先进的基线方法。这表明将过程挖掘技术应用于大语言模型的技能学习是有效的，可以提高规划生成的效率和准确性。
🎯 应用场景
该研究成果可应用于智能机器人、自动化流程设计、智能助手等领域。例如，机器人可以利用该方法学习各种操作技能，并根据任务需求自动生成执行计划。在自动化流程设计中，可以利用该方法自动发现和优化业务流程。智能助手可以利用该方法理解用户的意图，并生成相应的操作指令。
📄 摘要（原文）
Large language models (LLMs) hold promise for generating plans for complex tasks, but their effectiveness is limited by sequential execution, lack of control flow models, and difficulties in skill retrieval. Addressing these issues is crucial for improving the efficiency and interpretability of plan generation as LLMs become more central to automation and decision-making. We introduce a novel approach to skill learning in LLMs by integrating process mining techniques, leveraging process discovery for skill acquisition, process models for skill storage, and conformance checking for skill retrieval. Our methods enhance text-based plan generation by enabling flexible skill discovery, parallel execution, and improved interpretability. Experimental results suggest the effectiveness of our approach, with our skill retrieval method surpassing state-of-the-art accuracy baselines under specific conditions.