On the Limitations of Large Language Models for Conceptual Database Modeling

📄 arXiv: 2605.11986v1 📥 PDF

作者: Arthur F. Siqueira, Carlos D. S. Nogueira, Eduarda Farias, Claudio E. C. Campelo, Júlia Menezes

分类: cs.AI

发布日期: 2026-05-12

💡 一句话要点

分析大型语言模型在概念数据库建模中的局限性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 概念建模 实体关系图 自然语言处理 数据库 提示工程 局限性分析

📋 核心要点

  1. 现有方法在将自然语言需求转化为数据库概念模型时存在不足，尤其是在处理复杂需求时。
  2. 该研究探索利用大型语言模型自动生成实体关系图，旨在简化数据库建模过程。
  3. 实验结果表明，LLM在简单场景下表现尚可，但在复杂场景中可靠性显著下降，存在局限性。

📝 摘要（中文）

本文分析了使用大型语言模型（LLM）辅助关系数据库概念建模的方法，通过自然语言需求自动生成实体关系（ER）图。该方法结合了不同的语言模型和提示工程技术，以评估它们在概念上一致地识别实体、关系和属性的能力。实验评估涉及三个LLM，每个LLM都接受三种提示技术（零样本、思维链和思维链+验证器），应用于复杂度逐渐增加的相同需求场景。通过与文本需求直接比较，对生成的图进行定性分析，考虑建模元素的结构和语义一致性。结果表明，虽然LLM在不太复杂的场景中表现出合理的性能，但随着需求复杂性的增加，它们的可靠性会降低，不一致性、模糊性和约束表示失败的情况也会增加。这些发现表明，就目前而言，LLM在复杂场景中尚不够成熟，无法可靠使用，并且验证成本可能会抵消表面上的生产力提升。

🔬 方法详解

问题定义：论文旨在评估大型语言模型（LLM）在概念数据库建模中的能力，具体而言，是能否根据自然语言需求自动生成准确且一致的实体关系（ER）图。现有方法，即人工建模，耗时且容易出错。LLM的潜在优势在于自动化和加速建模过程，但其在处理复杂需求时的可靠性未知。

核心思路：核心思路是利用LLM的自然语言理解和生成能力，通过提示工程（Prompt Engineering）引导LLM从自然语言需求中提取实体、关系和属性，并将其转化为ER图。通过比较不同LLM和不同提示策略的表现，评估LLM在概念建模任务中的适用性。

技术框架：整体流程包括：1) 准备自然语言需求文档，文档复杂度逐步增加；2) 选择三个LLM模型；3) 应用三种提示技术（零样本、思维链、思维链+验证器）生成ER图；4) 人工分析生成的ER图，与原始需求进行比较，评估其结构和语义一致性。

关键创新：该研究的关键创新在于系统性地评估了LLM在概念数据库建模任务中的能力，并量化了其在不同复杂程度需求下的性能。通过对比不同的提示策略，揭示了LLM在处理复杂约束和语义信息方面的局限性。

关键设计：实验中使用了三种提示技术：零样本提示直接要求LLM生成ER图；思维链提示引导LLM逐步推理，先识别实体、关系和属性，再生成ER图；思维链+验证器提示在思维链的基础上增加了一个验证步骤，以提高生成ER图的准确性。实验通过逐步增加需求文档的复杂度来评估LLM的鲁棒性。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果表明，LLM在处理简单需求时表现出一定的能力，但在处理复杂需求时，其可靠性显著下降。具体而言，随着需求复杂性的增加，LLM生成ER图的不一致性、模糊性和约束表示失败的情况显著增加。这表明，目前的LLM尚不具备在复杂场景下可靠进行概念数据库建模的能力。

🎯 应用场景

该研究结果可用于指导数据库建模工具的开发，例如，可以结合LLM的初步建模能力和人工验证，提高建模效率。此外，该研究也为其他自然语言驱动的软件工程任务提供了参考，例如需求分析和代码生成。未来的研究可以探索如何改进LLM的提示策略，使其更好地理解和处理复杂的需求约束。

📄 摘要（原文）

This article analyzes the use of Large Language Models (LLMs) as support for the conceptual modeling of relational databases through the automatic generation of Entity-Relationship (ER) diagrams from natural language requirements. The approach combines different language models with prompt engineering techniques to evaluate their ability to identify entities, relationships, and attributes in a conceptually consistent manner. The experimental evaluation involved three LLMs, each subjected to three prompting techniques (Zero-Shot, Chain of Thought, and Chain of Thought + Verifier), applied to the same requirements scenario with progressively increasing complexity. The generated diagrams were qualitatively analyzed through direct comparison with the textual requirements, considering the structural and semantic adherence of the modeled elements. The results indicate that, although LLMs show reasonable performance in less complex scenarios, their reliability decreases as the complexity of the requirements increases, with a rise in inconsistencies, ambiguities, and failures in representing constraints. These findings reinforce that, in their current state, LLMs are not sufficiently mature for reliable use in complex scenarios, and the cost of validation may offset the apparent productivity gains.