PFDial: A Structured Dialogue Instruction Fine-tuning Method Based on UML Flowcharts

📄 arXiv: 2503.06706v3 📥 PDF

作者: Ming Zhang, Yuhui Wang, Yujiong Shen, Tingyi Yang, Changhao Jiang, Yilong Wu, Shihan Dou, Qinhao Chen, Zhiheng Xi, Zhihao Zhang, Yi Dong, Zhen Wang, Zhihui Fei, Mingyang Wan, Tao Liang, Guojun Ma, Qi Zhang, Tao Gui, Xuanjing Huang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-03-09 (更新: 2025-06-13)

🔗 代码/项目: GITHUB

💡 一句话要点

PFDial：基于UML流程图的结构化对话指令微调方法，提升流程驱动对话系统性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 流程驱动对话系统 UML流程图 对话指令微调 大型语言模型 结构化对话 PlantUML PFDial数据集

📋 核心要点

  1. 现有大型语言模型在严格约束的流程驱动对话任务中表现不足，难以满足客户服务等场景需求。
  2. PFDial方法通过将UML流程图转换为结构化的对话指令，并进行微调，使模型更好地理解和执行流程。
  3. 实验表明，小规模模型经过PFDial训练后，性能显著提升，甚至超越了GPT-4o等大型模型。

📝 摘要（中文）

本文提出了一种针对流程驱动对话系统的结构化对话指令微调方法。流程驱动对话系统在客户服务和设备维护等场景中至关重要，但大型语言模型（LLMs）在处理此类严格约束的对话任务时仍面临挑战。为了解决这个问题，我们构建了Process Flow Dialogue (PFDial)数据集，其中包含12,705个高质量的中文对话指令，这些指令来源于440个流程图，包含5,055个流程节点。基于PlantUML规范，每个UML流程图被转换为原子对话单元，即结构化的五元组。实验结果表明，仅用800个样本训练的7B模型和用全部数据训练的0.5B模型均可超过90%的准确率。此外，8B模型可以超越GPT-4o高达43.88%，平均提升11.00%。我们进一步评估了模型在具有挑战性的流程后向转换上的性能，并深入分析了各种数据集格式，以揭示它们对模型处理决策和顺序分支的影响。数据集已在https://github.com/KongLongGeFDU/PFDial上发布。

🔬 方法详解

问题定义：流程驱动的对话系统在客户服务和设备维护等领域至关重要，这类系统需要严格遵循预定义的流程。然而，现有的大型语言模型虽然在对话和推理方面取得了显著进展，但在处理这些具有严格约束的对话任务时仍然面临挑战。现有的方法难以有效地将流程信息融入到对话生成过程中，导致模型无法准确地按照流程进行对话。

核心思路：本文的核心思路是将UML流程图转换为结构化的对话指令，并利用这些指令对大型语言模型进行微调。通过将流程图分解为原子对话单元（五元组），模型可以更好地理解流程的结构和约束，从而生成更符合流程规范的对话。这种方法旨在弥合大型语言模型在通用对话能力和流程驱动对话任务之间的差距。

技术框架：PFDial方法主要包含以下几个阶段：1) 构建PFDial数据集，该数据集包含从UML流程图转换而来的高质量中文对话指令。2) 将每个UML流程图转换为原子对话单元，即结构化的五元组。3) 使用PFDial数据集对大型语言模型进行微调。4) 评估模型在流程驱动对话任务上的性能，包括准确率和处理复杂流程（如后向转换）的能力。

关键创新：该方法最重要的技术创新点在于将UML流程图转换为结构化的对话指令，并将其用于微调大型语言模型。这种方法能够有效地将流程信息融入到对话生成过程中，从而提高模型在流程驱动对话任务上的性能。与传统的对话系统相比，PFDial方法能够更好地处理具有严格约束的对话任务。

关键设计：PFDial数据集中的每个对话指令都包含一个结构化的五元组，该五元组描述了对话的状态、用户输入、系统输出、下一个状态和动作类型。在微调过程中，可以使用标准的交叉熵损失函数来优化模型。此外，还可以探索不同的数据集格式，以提高模型处理决策和顺序分支的能力。论文中提到使用PlantUML规范进行流程图转换，这保证了流程信息的一致性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，仅用800个样本训练的7B模型和用全部数据训练的0.5B模型均可超过90%的准确率。更重要的是，8B模型在流程驱动对话任务上超越了GPT-4o高达43.88%，平均提升11.00%。这些结果表明，PFDial方法能够有效地提高模型在流程驱动对话任务上的性能，即使是小规模模型也能取得显著的提升。

🎯 应用场景

PFDial方法可应用于各种需要严格遵循预定义流程的对话系统，例如客户服务、设备维护、故障排除等。通过提高模型在流程驱动对话任务上的性能，可以提升用户体验，降低运营成本，并提高工作效率。未来，该方法可以进一步扩展到其他领域，如医疗诊断和法律咨询。

📄 摘要（原文）

Process-driven dialogue systems, which operate under strict predefined process constraints, are essential in customer service and equipment maintenance scenarios. Although Large Language Models (LLMs) have shown remarkable progress in dialogue and reasoning, they still struggle to solve these strictly constrained dialogue tasks. To address this challenge, we construct Process Flow Dialogue (PFDial) dataset, which contains 12,705 high-quality Chinese dialogue instructions derived from 440 flowcharts containing 5,055 process nodes. Based on PlantUML specification, each UML flowchart is converted into atomic dialogue units i.e., structured five-tuples. Experimental results demonstrate that a 7B model trained with merely 800 samples, and a 0.5B model trained on total data both can surpass 90% accuracy. Additionally, the 8B model can surpass GPT-4o up to 43.88% with an average of 11.00%. We further evaluate models' performance on challenging backward transitions in process flows and conduct an in-depth analysis of various dataset formats to reveal their impact on model performance in handling decision and sequential branches. The data is released in https://github.com/KongLongGeFDU/PFDial.