Leveraging Retrieval Augmented Generative LLMs For Automated Metadata Description Generation to Enhance Data Catalogs

📄 arXiv: 2503.09003v1 📥 PDF

作者: Mayank Singh, Abhijeet Kumar, Sasidhar Donaparthi, Gayatri Karambelkar

分类: cs.IR, cs.CL

发布日期: 2025-03-12

备注: Presented in 5th International Conference on NLP & Text Mining (NLTM 2025)

💡 一句话要点

利用检索增强生成式LLM自动生成元数据描述，提升数据目录质量。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 元数据生成 数据目录 大型语言模型 检索增强 少样本学习 提示工程 数据治理

📋 核心要点

  1. 现有数据目录因元数据（如资产描述）不足，导致搜索能力受限，用户难以查找所需内容。
  2. 论文提出一种基于检索增强的少样本学习方法，结合大型语言模型，利用现有元数据生成新的描述。
  3. 实验结果表明，该方法生成的描述具有较高的准确性和可接受度，Rouge-1 F1 值超过 80%。

📝 摘要（中文）

数据目录是组织和访问各种数据资产的存储库，但其有效性取决于业务用户查找相关内容的便捷程度。不幸的是，组织内的许多数据目录由于资产描述等元数据不足而导致搜索能力有限。因此，需要一种内容生成解决方案，以可扩展的方式丰富和管理元数据。本文探讨了与元数据创建相关的挑战，并提出了一种独特的提示增强思想，即利用基于检索的少样本技术与生成式大型语言模型（LLM）相结合来利用现有的元数据内容。该文献还考虑了在现有内容上微调LLM，并研究了少样本预训练LLM（Llama、GPT3.5）与少样本微调LLM（Llama2-7b）的行为，通过评估其基于准确性、事实基础和毒性的性能。我们的初步结果表明，生成内容的 Rouge-1 F1 值超过 80%。这意味着 87%-88% 的实例被数据管理员直接接受或经过少量编辑后被接受。通过以最准确的方式自动生成表和列的描述，该研究试图为企业提供一个整体框架，以有效地扩展元数据管理并丰富其数据目录，从而大大提高数据目录的可搜索性和整体可用性。

🔬 方法详解

问题定义：论文旨在解决数据目录中元数据描述不足的问题，现有方法难以规模化地生成高质量的元数据描述，导致数据目录搜索效率低下。人工编写元数据成本高昂且难以维护。

核心思路：论文的核心思路是利用检索增强生成式LLM，通过检索与目标数据资产相关的现有元数据，并将其作为提示信息输入LLM，从而生成更准确、更具上下文的描述。这种方法结合了检索的准确性和LLM的生成能力。

技术框架：整体框架包含以下几个主要阶段：1. 检索阶段：根据目标数据资产（如表或列）的名称、类型等信息，从现有元数据中检索相似的条目。2. 提示构建阶段：将检索到的元数据条目作为提示信息，与目标数据资产的信息组合成完整的提示。3. 生成阶段：将构建好的提示输入LLM，生成目标数据资产的描述。4. 评估与修正阶段：对生成的描述进行评估，并由数据管理员进行必要的修正。

关键创新：该方法最重要的创新点在于将检索增强与生成式LLM相结合，利用现有元数据来指导LLM生成新的描述。这种方法避免了从零开始生成描述，提高了生成描述的准确性和相关性。此外，论文还比较了不同LLM（如Llama、GPT3.5和Llama2-7b）在少样本学习场景下的表现。

关键设计：论文的关键设计包括：1. 检索策略：选择合适的检索算法和相似度度量方法，以确保检索到最相关的元数据条目。2. 提示工程：设计有效的提示模板，将检索到的元数据条目和目标数据资产的信息以最佳方式组合起来。3. LLM选择与微调：选择合适的LLM，并根据需要进行微调，以提高生成描述的质量。4. 评估指标：使用 Rouge-1 F1 等指标评估生成描述的准确性和质量。

📊 实验亮点

实验结果表明，该方法生成的元数据描述具有较高的准确性和可接受度，Rouge-1 F1 值超过 80%。87%-88% 的生成描述可以直接使用或经过少量编辑即可被数据管理员接受。该方法显著提高了元数据生成的效率和质量，降低了人工成本。

🎯 应用场景

该研究成果可广泛应用于企业级数据目录的建设和维护，能够自动生成高质量的元数据描述，提高数据目录的可搜索性和可用性，帮助用户更快速地找到所需数据，从而提升数据驱动决策的效率。此外，该方法还可应用于知识图谱构建、智能问答等领域。

📄 摘要（原文）

Data catalogs serve as repositories for organizing and accessing diverse collection of data assets, but their effectiveness hinges on the ease with which business users can look-up relevant content. Unfortunately, many data catalogs within organizations suffer from limited searchability due to inadequate metadata like asset descriptions. Hence, there is a need of content generation solution to enrich and curate metadata in a scalable way. This paper explores the challenges associated with metadata creation and proposes a unique prompt enrichment idea of leveraging existing metadata content using retrieval based few-shot technique tied with generative large language models (LLM). The literature also considers finetuning an LLM on existing content and studies the behavior of few-shot pretrained LLM (Llama, GPT3.5) vis-à-vis few-shot finetuned LLM (Llama2-7b) by evaluating their performance based on accuracy, factual grounding, and toxicity. Our preliminary results exhibit more than 80% Rouge-1 F1 for the generated content. This implied 87%- 88% of instances accepted as is or curated with minor edits by data stewards. By automatically generating descriptions for tables and columns in most accurate way, the research attempts to provide an overall framework for enterprises to effectively scale metadata curation and enrich its data catalog thereby vastly improving the data catalog searchability and overall usability.