Schemora: schema matching via multi-stage recommendation and metadata enrichment using off-the-shelf llms

📄 arXiv: 2507.14376v1 📥 PDF

作者: Osman Erman Gungor, Derak Paulsen, William Kang

分类: cs.DB, cs.AI, cs.LG

发布日期: 2025-07-18

备注: 11 pages

💡 一句话要点

SCHEMORA：利用LLM进行多阶段推荐和元数据增强的模式匹配框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模式匹配 大型语言模型 数据集成 元数据增强 混合检索 推荐系统 MIMIC-OMOP

📋 核心要点

  1. 模式匹配是数据集成关键，但现有方法面临计算成本高、依赖标注数据等挑战。
  2. SCHEMORA利用LLM和混合检索，通过提示工程实现高效的模式匹配，无需大量标注数据。
  3. 在MIMIC-OMOP基准测试中，SCHEMORA显著提升了HitRate@5和HitRate@3指标，达到新的SOTA。

📝 摘要（中文）

模式匹配对于集成异构数据源和增强数据集发现至关重要，但它仍然是一个复杂且资源密集的问题。我们提出了SCHEMORA，一个模式匹配框架，它结合了大型语言模型与混合检索技术，采用基于提示的方法，无需依赖标记的训练数据或详尽的成对比较，即可高效识别候选匹配项。通过丰富模式元数据并利用基于向量和词汇的检索，SCHEMORA提高了匹配精度和可扩展性。在MIMIC-OMOP基准上的评估表明，它建立了新的最先进性能，HitRate@5的增益为7.49%，HitRate@3的增益为3.75%，超过了之前的最佳结果。据我们所知，这是第一个具有开源实现的基于LLM的模式匹配方法，并附带分析，强调了检索的关键作用，并提供了关于模型选择的实用指导。

🔬 方法详解

问题定义：模式匹配旨在识别不同数据源中语义上对应的模式元素，例如数据库表中的列。现有方法通常需要大量的标注数据进行训练，或者进行详尽的成对比较，计算复杂度高，难以扩展到大型数据集。此外，如何有效利用模式的元数据信息也是一个挑战。

核心思路：SCHEMORA的核心思路是利用大型语言模型（LLM）的语义理解能力，结合混合检索技术，实现高效的模式匹配。通过将模式匹配问题转化为一个推荐问题，并利用LLM生成候选匹配项，从而避免了详尽的成对比较。同时，通过元数据增强，提高LLM的匹配准确率。

技术框架：SCHEMORA框架包含以下几个主要阶段：1) 元数据增强：利用LLM对模式的元数据进行丰富，例如生成列的描述信息。2) 候选检索：使用混合检索技术，包括基于向量的检索和基于词汇的检索，从目标模式中检索出候选匹配项。3) LLM匹配：利用LLM对候选匹配项进行排序和筛选，选择最佳匹配项。4) 多阶段推荐：通过多轮推荐，逐步缩小候选匹配范围，提高匹配效率。

关键创新：SCHEMORA的关键创新在于：1) 基于LLM的模式匹配：首次将LLM应用于模式匹配问题，利用LLM的语义理解能力提高匹配准确率。2) 混合检索技术：结合基于向量和基于词汇的检索，提高候选检索的召回率。3) 多阶段推荐：通过多轮推荐，提高匹配效率和可扩展性。4) 开源实现：提供了开源实现，方便研究人员和开发者使用。

关键设计：SCHEMORA的关键设计包括：1) 提示工程：设计合适的提示，引导LLM生成高质量的匹配结果。2) 向量嵌入模型选择：选择合适的向量嵌入模型，用于计算模式元素的向量表示。3) 检索策略：设计有效的检索策略，平衡检索的准确率和召回率。4) LLM选择：选择合适的LLM，平衡模型的性能和计算成本。

📊 实验亮点

SCHEMORA在MIMIC-OMOP基准测试中取得了显著的性能提升。相较于之前的最佳结果，HitRate@5指标提升了7.49%，HitRate@3指标提升了3.75%。实验结果表明，SCHEMORA能够有效地提高模式匹配的准确率和效率，并具有良好的可扩展性。

🎯 应用场景

SCHEMORA可应用于各种需要数据集成的场景，例如企业数据仓库构建、科学数据共享、医疗数据整合等。通过自动化模式匹配，可以显著降低数据集成的人工成本，提高数据质量和利用率。未来，该技术有望应用于更广泛的数据管理领域，例如数据发现、数据治理等。

📄 摘要（原文）

Schema matching is essential for integrating heterogeneous data sources and enhancing dataset discovery, yet it remains a complex and resource-intensive problem. We introduce SCHEMORA, a schema matching framework that combines large language models with hybrid retrieval techniques in a prompt-based approach, enabling efficient identification of candidate matches without relying on labeled training data or exhaustive pairwise comparisons. By enriching schema metadata and leveraging both vector-based and lexical retrieval, SCHEMORA improves matching accuracy and scalability. Evaluated on the MIMIC-OMOP benchmark, it establishes new state-of-the-art performance, with gains of 7.49% in HitRate@5 and 3.75% in HitRate@3 over previous best results. To our knowledge, this is the first LLM-based schema matching method with an open-source implementation, accompanied by analysis that underscores the critical role of retrieval and provides practical guidance on model selection.