Extracting Knowledge Graphs from User Stories using LangChain

📄 arXiv: 2506.11020v1 📥 PDF

作者: Thayná Camargo da Silva

分类: cs.SE, cs.AI

发布日期: 2025-05-14

备注: Master thesis work

💡 一句话要点

提出User Story Graph Transformer，利用LangChain和LLM自动构建用户故事知识图谱

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱 用户故事 大型语言模型 LangChain 自然语言处理 软件需求工程 自动化

📋 核心要点

  1. 现有方法难以有效提取用户故事中的知识，阻碍了软件需求的可视化和理解。
  2. 利用LangChain框架和LLM，构建User Story Graph Transformer模块，自动提取用户故事中的节点和关系。
  3. 通过自动化脚本实现知识图谱提取和评估，提升软件功能与用户期望的对齐。

📝 摘要（中文）

本论文提出了一种新颖的方法，利用大型语言模型（LLM）的先进能力，从用户故事中自动生成知识图谱。该方法以LangChain框架为基础，开发了User Story Graph Transformer模块，该模块使用LLM从用户故事中提取节点和关系，从而构建准确的知识图谱。该创新技术在一个脚本中实现，以完全自动化知识图谱的提取过程。此外，通过一个专门的评估脚本，利用带注释的数据集进行评估，实现了评估的自动化。通过增强用户需求和领域概念的可视化和理解，该方法促进了软件功能和用户期望之间更好的对齐，最终有助于更有效和以用户为中心的软件开发过程。

🔬 方法详解

问题定义：论文旨在解决从用户故事中自动提取知识图谱的问题。现有方法通常依赖于人工提取或基于规则的方法，这些方法耗时且容易出错，难以处理复杂的用户故事。因此，需要一种自动化的方法，能够准确、高效地从用户故事中提取知识，并构建知识图谱，以便更好地理解用户需求和领域概念。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大自然语言理解和生成能力，结合LangChain框架，自动提取用户故事中的实体（节点）和关系（边）。通过训练LLM识别用户故事中的关键信息，并将其转化为知识图谱的结构化表示，从而实现知识的自动提取和可视化。

技术框架：整体框架包含以下几个主要模块：1) 用户故事输入模块：接收用户故事作为输入。2) User Story Graph Transformer模块：这是核心模块，利用LangChain和LLM，从用户故事中提取节点和关系。该模块可能包含提示工程（Prompt Engineering）的设计，以指导LLM进行知识提取。3) 知识图谱构建模块：将提取的节点和关系构建成知识图谱。4) 评估模块：使用带注释的数据集，评估知识图谱的准确性和完整性。评估过程也通过脚本自动化。

关键创新：该方法的主要创新在于将LLM和LangChain框架应用于用户故事的知识图谱提取。与传统的基于规则的方法相比，LLM能够更好地理解用户故事的语义，并提取更准确、更全面的知识。此外，该方法实现了知识图谱提取和评估的完全自动化，大大提高了效率。

关键设计：论文的关键设计可能包括：1) LLM的选择和微调：选择合适的LLM，并可能使用用户故事数据集对其进行微调，以提高知识提取的准确性。2) 提示工程：设计有效的提示，指导LLM识别用户故事中的实体和关系。3) 评估指标：选择合适的评估指标，如精确率、召回率和F1值，评估知识图谱的质量。4) LangChain组件的选择和配置：选择合适的LangChain组件，如文本分割器、向量存储等，以支持LLM的知识提取过程。

🖼️ 关键图片

img_0
img_1

📊 实验亮点

论文通过实验验证了所提出方法的有效性，但摘要中未提供具体的性能数据和对比基线。未来的研究可以进一步评估该方法在不同数据集和不同LLM上的性能，并与现有的知识图谱提取方法进行比较，以更全面地评估其优势和局限性。自动化评估脚本的开发是本研究的另一个亮点，提高了评估的效率和可重复性。

🎯 应用场景

该研究成果可应用于软件需求工程、知识管理和智能推荐等领域。通过自动构建用户故事的知识图谱，可以帮助开发人员更好地理解用户需求，提高软件开发的效率和质量。此外，该方法还可以用于构建领域知识图谱，支持智能搜索、问答和推荐等应用。未来，该方法可以扩展到其他类型的文本数据，如技术文档、专利等，构建更广泛的知识图谱。

📄 摘要（原文）

This thesis introduces a novel methodology for the automated generation of knowledge graphs from user stories by leveraging the advanced capabilities of Large Language Models. Utilizing the LangChain framework as a basis, the User Story Graph Transformer module was developed to extract nodes and relationships from user stories using an LLM to construct accurate knowledge graphs.This innovative technique was implemented in a script to fully automate the knowledge graph extraction process. Additionally, the evaluation was automated through a dedicated evaluation script, utilizing an annotated dataset for assessment. By enhancing the visualization and understanding of user requirements and domain concepts, this method fosters better alignment between software functionalities and user expectations, ultimately contributing to more effective and user-centric software development processes.