Utilising a Large Language Model to Annotate Subject Metadata: A Case Study in an Australian National Research Data Catalogue

📄 arXiv: 2310.11318v1 📥 PDF

作者: Shiwei Zhang, Mingfang Wu, Xiuzhen Zhang

分类: cs.CL, cs.AI

发布日期: 2023-10-17

💡 一句话要点

利用大型语言模型进行主题元数据注释以解决数据集元数据质量问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 元数据注释 上下文学习 数据集管理 开放科学

📋 核心要点

  1. 现有数据集常常缺乏高质量的元数据，导致发现和重用的困难，尤其是在资源有限的情况下。
  2. 本文提出了一种基于大型语言模型的上下文学习方法，旨在实现成本效益的主题元数据自动注释。
  3. 实验结果表明，采用GPT-3.5的注释方法在自动元数据注释中表现良好，但在学科特定规则的获取上仍存在不足。

📝 摘要（中文）

随着开放和可重复研究的支持，研究数据集的数量迅速增加。然而，许多数据集缺乏高质量的元数据，限制了其发现和重用。本文提出利用大型语言模型（LLMs）进行主题元数据的成本效益注释，采用基于GPT-3.5的上下文学习方法，展示了在自动元数据注释中的良好表现。尽管如此，由于缺乏学科特定规则，模型在某些类别中的表现仍然较低。我们首次引入了利用大型语言模型进行自动主题元数据注释的上下文学习方法。

🔬 方法详解

问题定义：本文旨在解决数据集元数据质量不足的问题，现有方法由于资源限制，往往无法提供高质量的元数据注释。

核心思路：通过利用大型语言模型（LLMs）进行上下文学习，自动生成主题元数据注释，以提高元数据的质量和可用性。

技术框架：整体流程包括数据集选择、GPT-3.5模型的上下文学习、注释生成和结果评估等主要模块。

关键创新：首次引入大型语言模型进行自动主题元数据注释的上下文学习方法，克服了传统方法在学科特定规则获取上的局限性。

关键设计：在模型训练中，设计了特定的提示词以优化注释效果，确保生成的元数据符合研究领域的需求。

📊 实验亮点

实验结果显示，采用GPT-3.5进行主题元数据注释的准确性显著提高，尤其在某些类别中表现优于传统方法，具体提升幅度未知，表明该方法在自动化数据注释中的有效性。

🎯 应用场景

该研究的潜在应用领域包括科学数据管理、开放数据平台和学术研究支持等。通过提高元数据的质量，可以促进数据集的发现和重用，推动科学研究的开放性和可重复性，具有重要的实际价值和未来影响。

📄 摘要（原文）

In support of open and reproducible research, there has been a rapidly increasing number of datasets made available for research. As the availability of datasets increases, it becomes more important to have quality metadata for discovering and reusing them. Yet, it is a common issue that datasets often lack quality metadata due to limited resources for data curation. Meanwhile, technologies such as artificial intelligence and large language models (LLMs) are progressing rapidly. Recently, systems based on these technologies, such as ChatGPT, have demonstrated promising capabilities for certain data curation tasks. This paper proposes to leverage LLMs for cost-effective annotation of subject metadata through the LLM-based in-context learning. Our method employs GPT-3.5 with prompts designed for annotating subject metadata, demonstrating promising performance in automatic metadata annotation. However, models based on in-context learning cannot acquire discipline-specific rules, resulting in lower performance in several categories. This limitation arises from the limited contextual information available for subject inference. To the best of our knowledge, we are introducing, for the first time, an in-context learning method that harnesses large language models for automated subject metadata annotation.