ERUnderstand: Evaluating Vision-Language Models on Structured ER Diagrams

📄 arXiv: 2607.24707v1 📥 PDF

作者: Ali Ansari, Yasmin Mohammadi, Farnoush Nili, Parsa Esmaeilkhani, Longin Jan Latecki, Eduard Dragut

分类: cs.AI, cs.CV, cs.DB

发布日期: 2026-07-27

🔗 代码/项目: GITHUB

💡 一句话要点

提出ERUnderstand以解决ER图结构理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 实体-关系图 数据库设计 视觉-语言模型 多模态理解 推理增强模型

📋 核心要点

  1. 现有方法在处理ER图时，通常只能从渲染图像中提取信息，导致机器可读性差，限制了数据库工程的自动化。
  2. 论文提出ERUnderstand基准，包含多样化的ER图及其机器可读表示，旨在提升ER图的结构理解能力。
  3. 实验结果显示，尽管常见元素的F1分数超过0.74，但在复杂元素上表现不佳，推理增强模型的引入提升了整体性能。

📝 摘要（中文）

实体-关系图（ERD）在概念数据库设计中至关重要，但通常以渲染图像形式存在，限制了AI辅助数据库工程的能力。本文提出ERUnderstand，这是第一个针对ER图结构理解的大规模基准，包含2960个来自教育资源、真实世界模式和合成示例的图表。每个图表都配有标准化的机器可读表示，以便对模式元素进行细粒度评估。通过评估最先进的视觉-语言模型（VLM），发现常见ERD元素的恢复率较高（F1 > 0.74），但在弱实体、多值属性和N元关系上的表现显著下降。引入推理增强模型后，整体性能提高了15-25%。

🔬 方法详解

问题定义：本文旨在解决ER图的结构理解问题，现有方法在提取弱实体、多值属性和N元关系时表现不佳，导致信息丢失。

核心思路：通过构建ERUnderstand基准，提供多样化的ER图及其标准化的机器可读表示，促进对ER图的细粒度评估和理解。

技术框架：ERUnderstand基准包括数据收集、图表标注和机器可读表示生成等模块，确保评估的全面性和准确性。

关键创新：首次提出针对ER图的结构理解基准，结合多种领域和复杂度的图表，填补了现有研究的空白。

关键设计：在模型评估中，采用标准化的机器可读表示，使用F1分数作为性能指标，特别关注弱实体和复杂关系的提取。通过推理增强模型，整体性能提升15-25%。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，常见ERD元素的F1分数超过0.74，但在弱实体（0.28 F1）、多值属性（0.14 F1）和N元关系（0.07 F1）上表现较差。引入推理增强模型后，整体性能提升了15-25%，显示出模型在复杂任务上的潜力。

🎯 应用场景

该研究的潜在应用领域包括数据库设计、数据建模和AI辅助软件开发等。通过提供标准化的评估基准，ERUnderstand能够促进相关领域的研究进展，提高数据库工程的自动化水平，未来可能对智能数据库系统的构建产生深远影响。

📄 摘要（原文）

Entity-Relationship Diagrams (ERDs) are central to conceptual database design, yet they are typically available only as rendered images rather than machine-readable schemas, limiting AI-assisted database engineering. We introduce ERUnderstand, the first large-scale benchmark for structured understanding of ER diagrams, comprising 2,960 diagrams collected from curated educational sources, real-world schemas, and synthetically generated examples spanning diverse domains, notations, complexity levels, and Extended Entity-Relationship (EER) constructs. Each diagram is paired with a standardized machine-readable representation for fine-grained evaluation of schema elements. Evaluating state-of-the-art Vision-Language Models (VLMs), we find that while common ERD elements are recovered reliably (F1 > 0.74), performance drops sharply on weak entities (as low as 0.28 F1), multivalued attributes (0.14 F1), and N-ary relationships (0.07 F1). Reasoning-augmented models improve overall performance by 15-25% but remain sensitive to linguistic priors and increasing diagram complexity. ERUnderstand provides a standardized benchmark for evaluating multimodal understanding of conceptual database schemas. The benchmark, dataset, evaluation toolkit, and generation code are publicly available at https://github.com/salinaria/ERUnderstand.