Detecting Undesired Process Behavior by Means of Retrieval Augmented Generation

📄 arXiv: 2505.22041v1 📥 PDF

作者: Michael Grohs, Adrian Rebmann, Jana-Rebecca Rehse

分类: cs.LG

发布日期: 2025-05-28

备注: Accepted at the BPM Forum, located at the International Conference on Business Process Management (BPM) 2025

💡 一句话要点

提出基于检索增强生成(RAG)的方法，无需微调即可检测流程中不期望的行为。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 流程行为检测 检索增强生成 大型语言模型 事件日志 知识库

📋 核心要点

  1. 现有流程行为检测方法依赖流程模型或微调LLM，前者不易得，后者成本高且泛化性差。
  2. 提出利用RAG，使LLM能访问包含期望与不期望行为的知识库，从而迁移知识到当前流程。
  3. 实验表明，RAG方法优于微调LLM，尤其是在结合事件日志上下文信息时，效果更佳。

📝 摘要（中文）

本文提出了一种利用检索增强生成(RAG)来检测流程中不期望行为的方法。现有方法依赖于事件日志与预定义的流程模型进行一致性检查，或者通过微调大型语言模型(LLM)来区分期望与不期望的行为。然而，流程模型不易获取，且微调LLM成本高昂且泛化能力差。本文方法无需流程模型，也避免了资源密集型的微调。通过RAG，LLM可以直接访问包含其他流程中期望和不期望行为的知识库，从而将知识迁移到当前流程。实验结果表明，该方法在检测不期望行为方面优于微调的LLM，证明RAG是微调的可行替代方案，尤其是在结合事件日志中的相关上下文（如频繁轨迹和活动）时。

🔬 方法详解

问题定义：论文旨在解决在缺乏流程模型或避免高成本LLM微调的情况下，如何检测流程中不期望的行为。现有方法要么依赖于预定义的流程模型进行一致性检查，但实际应用中流程模型往往难以获取；要么通过微调大型语言模型（LLM）来区分期望与不期望的行为，但微调过程需要大量的计算资源和数据，且微调后的模型泛化能力有限。

核心思路：论文的核心思路是利用检索增强生成（RAG）技术，使LLM能够访问包含大量流程行为知识的外部知识库。通过检索与当前流程相关的知识，LLM可以更好地理解流程行为的上下文，从而更准确地判断是否存在不期望的行为。这种方法避免了对LLM进行特定于流程的微调，降低了计算成本，并提高了模型的泛化能力。

技术框架：该方法主要包含以下几个阶段：1) 知识库构建：构建包含期望和不期望流程行为的知识库，这些知识可以来自其他流程的事件日志、专家知识或相关文档。2) 检索：当需要检测某个流程的行为时，首先从事件日志中提取相关信息，例如频繁轨迹和活动。然后，利用这些信息在知识库中进行检索，找到与当前流程最相关的知识片段。3) 生成：将检索到的知识片段与LLM的输入进行拼接，LLM基于这些信息生成对当前流程行为的判断，即是否为不期望的行为。

关键创新：该方法最重要的创新点在于利用RAG技术，将LLM与外部知识库相结合，从而避免了对LLM进行昂贵的微调。这种方法不仅降低了计算成本，还提高了模型的泛化能力，使其能够适应不同的流程场景。此外，该方法还利用事件日志中的上下文信息来指导知识检索，从而提高了检索的准确性和效率。

关键设计：论文中没有明确给出关键参数设置、损失函数或网络结构的具体细节。但是，知识库的构建和检索策略是关键的设计要素。例如，可以使用不同的文本嵌入模型来表示知识片段和事件日志信息，并使用不同的相似度度量方法来进行检索。此外，如何将检索到的知识片段有效地融入LLM的输入也是一个重要的设计考虑。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于RAG的方法在检测不期望行为方面优于微调的LLM。具体来说，RAG方法在准确率、召回率和F1值等指标上均取得了显著提升。尤其是在结合事件日志中的频繁轨迹和活动等上下文信息时，RAG方法的性能提升更为明显，证明了RAG是微调的可行替代方案。

🎯 应用场景

该研究成果可应用于各种业务流程管理领域，例如金融、医疗、供应链等。它可以帮助企业自动检测流程中的异常行为，及时发现潜在的风险和问题，从而提高运营效率和降低损失。此外，该方法还可以用于流程挖掘和流程改进，帮助企业更好地理解和优化其业务流程。

📄 摘要（原文）

Conformance checking techniques detect undesired process behavior by comparing process executions that are recorded in event logs to desired behavior that is captured in a dedicated process model. If such models are not available, conformance checking techniques are not applicable, but organizations might still be interested in detecting undesired behavior in their processes. To enable this, existing approaches use Large Language Models (LLMs), assuming that they can learn to distinguish desired from undesired behavior through fine-tuning. However, fine-tuning is highly resource-intensive and the fine-tuned LLMs often do not generalize well. To address these limitations, we propose an approach that requires neither a dedicated process model nor resource-intensive fine-tuning to detect undesired process behavior. Instead, we use Retrieval Augmented Generation (RAG) to provide an LLM with direct access to a knowledge base that contains both desired and undesired process behavior from other processes, assuming that the LLM can transfer this knowledge to the process at hand. Our evaluation shows that our approach outperforms fine-tuned LLMs in detecting undesired behavior, demonstrating that RAG is a viable alternative to resource-intensive fine-tuning, particularly when enriched with relevant context from the event log, such as frequent traces and activities.