Improving LLM-Generated Process Model Quality Through Reinforcement Learning: The Role of Reward Function Design

📄 arXiv: 2607.06175v1 📥 PDF

作者: Alexander Rombach, Chantale Lauer, Nijat Mehdiyev

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-07-07

备注: 21 pages, 5 figures

🔗 代码/项目: GITHUB

💡 一句话要点

通过强化学习优化LLM生成的流程模型质量

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 流程模型生成 强化学习 奖励函数设计 大型语言模型 自动化评估 多维度质量评估

📋 核心要点

  1. 现有的LLM生成流程模型方法受限于训练数据，无法充分提升输出质量。
  2. 本文提出通过强化学习优化流程模型生成，重点研究奖励函数的设计。
  3. 实验结果表明，RL显著提升了模型的实用性和语法质量，输出变异性降低超过六倍。

📝 摘要（中文）

大型语言模型（LLMs）可以根据自然语言描述生成BPMN流程模型，但监督微调（SFT）限制了其输出质量。强化学习（RL）能够利用外部质量指标超越这一限制，但在多维度质量评估下，奖励函数的设计尚未被深入探讨。本文系统研究了RL基础上的流程模型生成中的奖励函数设计，训练了两种LLM（Llama 3.1 8B和Qwen 2.5 14B），在48种配置下使用基于组序列策略优化的方法，奖励来自一个包含38个指标的自动评估框架，涵盖语法、实用性和语义质量。研究发现，RL显著提高了实用性和语法质量，同时保持了语义的准确性，输出变异性减少了六倍以上。

🔬 方法详解

问题定义：本文旨在解决LLM生成流程模型时，现有方法因依赖训练数据而导致的输出质量不足的问题，尤其是在多维度质量评估下的奖励函数设计缺乏研究。

核心思路：通过强化学习优化流程模型生成，利用外部质量指标设计奖励函数，以超越传统监督微调的限制，探索奖励函数在多维度质量评估中的作用。

技术框架：整体架构包括两个主要模块：首先是基于LLM的流程模型生成，其次是使用自动评估框架对生成结果进行质量评估，最后通过组序列策略优化进行强化学习训练。

关键创新：最重要的技术创新在于系统性地研究了奖励函数设计对优化结果的影响，发现奖励组合是优化结果的主要决定因素，效果与应用RL本身相当。

关键设计：实验中使用了48种配置，奖励函数基于38个质量指标设计，特别强调了无效性惩罚和SFT初始化对不同模型架构的重要性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，强化学习显著提高了生成模型的实用性和语法质量，输出变异性降低超过六倍。与目标加权相比，均衡奖励加权的效果更佳，且设计选择与模型架构之间存在复杂的相互作用。

🎯 应用场景

该研究的潜在应用领域包括业务流程建模、自动化软件开发和智能决策支持系统。通过优化生成的流程模型质量，可以提高企业在流程管理和优化方面的效率，未来可能对智能化流程设计产生深远影响。

📄 摘要（原文）

Large language models (LLMs) can generate BPMN process models from natural-language descriptions, yet supervised fine-tuning (SFT) limits their output quality to the patterns present in the training data. Reinforcement learning (RL) can optimize beyond this ceiling using external quality measures, but how the reward function should be designed when quality is multi-dimensional remains unexplored. We present a systematic investigation of reward function design for RL-based process model generation, training two LLM families (Llama~3.1 8B, Qwen~2.5 14B) under 48 configurations using Group Sequence Policy Optimization with rewards derived from an automated evaluation framework comprising 38 metrics across syntactic, pragmatic, and semantic quality. Three findings emerge. First, RL significantly improves pragmatic and syntactic quality while preserving semantic fidelity, reducing output variability by more than sixfold. Second, equal reward weighting consistently outperforms targeted weighting: emphasizing a specific dimension fails to improve it and can collapse the model into a low-quality mode. Third, design choices interact with model architecture in non-trivial ways: the invalidity penalty is essential for one model but irrelevant for the other, and SFT initialization is indispensable for one architecture but counterproductive for another. These results demonstrate that reward composition is a primary determinant of optimization outcomes, with effects as large as the decision to apply RL itself. The findings generalize to any structured generation task where quality is assessed along multiple automated dimensions. We release our implementation and experimental code at https://github.com/chlauer99/RL_for_process_modeling.