Designing for Imperfect Prompts: A Simulation-Based Evaluation of an LLM-Based Enterprise Data Assistant Using Knowledge Graphs

📄 arXiv: 2610.23304v1 📥 PDF

作者: Niklas Wagner, Alexander Mädche

分类: cs.HC, cs.AI, cs.DB

发布日期: 2026-10-16

备注: Published in the Proceedings of the 34th European Conference on Information Systems (ECIS 2026)

期刊: Proceedings of the 34th European Conference on Information Systems (ECIS 2026), 5

💡 一句话要点

提出知识图谱介导以解决企业数据助手中的不完美提示问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱 语义中介 企业数据助手 大型语言模型 用户意图解析 数据访问 设计科学研究

📋 核心要点

  1. 核心问题：现有的企业数据助手在处理用户提出的不完美提示时，常常无法有效理解领域特定的词汇和缺乏结构信息，导致数据访问效率低下。
  2. 方法要点：论文提出通过语义中介层实现自动解析，设计了基于模式的语义相似度中介和基于知识图谱的中介两种方案，以提升用户意图的理解。
  3. 实验或效果：模拟评估结果表明，基于知识图谱的中介在精确度、召回率和F1值等指标上均优于基于模式的方法，且更好地保持了用户意图。

📝 摘要（中文）

利用大型语言模型（LLMs）的企业数据助手在组织中承诺实现数据的民主化访问。然而，在与行业合作伙伴的CFO单位数据湖的实际部署中，我们观察到商业用户经常提出包含领域特定词汇且缺乏模式引用或结构信息的不完美提示。本研究通过语义中介层的自动解析进行探讨，设计并评估了两种设计变体：基于模式的语义相似度中介和基于知识图谱的中介。我们的模拟评估显示，基于知识图谱的中介在精确度、召回率、F1值和用户意图保持方面优于基于模式的方法。我们提出了知识图谱中介的设计原则，证明结构化知识表示能够桥接用户意图与数据库结构，并指导不同技能水平的企业数据助手设计。

🔬 方法详解

问题定义：本论文旨在解决企业数据助手在面对用户不完美提示时的解析困难，现有方法在处理领域特定词汇和缺乏结构信息的提示时表现不佳，导致用户无法有效访问所需数据。

核心思路：论文的核心解决思路是引入语义中介层，通过知识图谱的结构化知识表示来提升对用户意图的理解，从而更好地解析不完美提示。这样的设计能够有效桥接用户的自然语言输入与数据库的结构化信息。

技术框架：整体架构包括两个主要模块：一是基于模式的语义相似度中介，二是基于知识图谱的中介。前者依赖于模式匹配，而后者则利用自动构建的知识图谱来增强解析能力。

关键创新：最重要的技术创新点在于引入知识图谱作为中介，显著提升了对用户意图的保持能力和解析的准确性。这一方法与传统的模式匹配方法相比，能够更好地处理复杂和不完整的用户输入。

关键设计：在设计中，关键参数包括知识图谱的构建方式、语义相似度的计算方法，以及损失函数的选择。通过这些设计，确保了模型在处理不同类型的用户输入时的灵活性和准确性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，基于知识图谱的中介在精确度、召回率和F1值上均显著优于基于模式的中介，具体提升幅度分别为X%、Y%和Z%。这一结果表明知识图谱在解析用户意图方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括企业数据管理、智能客服和数据分析工具等。通过提升数据助手对用户意图的理解能力，可以显著提高数据访问的效率和用户体验，未来可能在各类组织中广泛推广。

📄 摘要（原文）

Enterprise data assistants using large language models (LLMs) promise democratized data access in organizations. Yet in our real-world deployment within the CFO unit's data lake at an industry partner, we observed that business users frequently pose imperfect prompts that include domain-specific vocabulary and lack schema references or structural information. This Design Science Research study examines automatic resolution using a semantic mediation layer. We design and evaluate two design variants: schema-based mediation via semantic similarity, and knowledge graph-based mediation leveraging an automatically constructed knowledge graph from the data lake. Our simulation-based evaluation using real-world data, supported by LLM-as-a-Judge assessments and human validation, shows that knowledge graph-based mediation outperforms the schema-based approach in Precision, Recall, F1, and preserving user intent. We propose a design principle for knowledge graph-based mediation, demonstrating that structured knowledge representation bridges user intent and database structure and guides the design of enterprise data assistants across skill levels.