ChatPD: An LLM-driven Paper-Dataset Networking System
作者: Anjie Xu, Ruiqing Ding, Leye Wang
分类: cs.DB, cs.AI, cs.IR
发布日期: 2025-05-28
备注: Accepted by KDD Applied Data Science Track 2025
🔗 代码/项目: GITHUB
💡 一句话要点
ChatPD：一个基于LLM的论文-数据集网络构建系统
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 数据集提取 实体解析 知识图谱 自然语言处理
📋 核心要点
- 现有学术平台在数据集管理上依赖手动流程，效率低下，阻碍了科研进展。
- ChatPD利用LLM自动从论文中提取数据集信息，构建结构化的论文-数据集网络。
- 实验表明，ChatPD在数据集提取和实体解析方面均优于现有平台，精度和召回率达到90%。
📝 摘要（中文）
科学研究严重依赖于合适的数据集进行方法验证，但现有的学术平台（如PapersWithCode）在数据集管理方面存在手动工作流程效率低下的问题。为了克服这一瓶颈，我们提出了一个名为ChatPD的系统，该系统利用大型语言模型（LLM）自动从学术论文中提取数据集信息，并构建结构化的论文-数据集网络。我们的系统由三个关键模块组成：论文收集、数据集信息提取和数据集实体解析，以构建论文-数据集网络。具体而言，我们提出了一种图补全和推理策略，将数据集描述映射到其对应的实体。通过大量的实验，我们证明ChatPD不仅在数据集使用提取方面优于现有的PapersWithCode平台，而且在实体解析任务中达到了约90%的精确率和召回率。此外，我们已经部署了ChatPD来持续提取论文中使用的数据集，并提供数据集发现服务，例如特定任务的数据集查询和类似数据集推荐。我们开源了ChatPD以及当前的论文-数据集网络。
🔬 方法详解
问题定义：现有学术平台如PapersWithCode，在数据集管理方面依赖人工标注和维护，效率低下，无法满足快速增长的科研论文数量的需求。这导致研究人员难以快速找到适合其研究的数据集，阻碍了科研进展。现有方法的痛点在于人工成本高、覆盖范围有限、更新速度慢。
核心思路：ChatPD的核心思路是利用大型语言模型（LLM）的强大自然语言理解和生成能力，自动化地从学术论文中提取数据集信息，并构建论文与数据集之间的关联网络。通过自动化流程，降低人工成本，扩大数据集覆盖范围，并提高更新速度。
技术框架：ChatPD系统包含三个主要模块：1) 论文收集：负责收集学术论文，作为数据集信息提取的来源。2) 数据集信息提取：利用LLM从论文中提取数据集的名称、描述、任务类型等信息。3) 数据集实体解析：将提取的数据集描述映射到已知的实体，例如PapersWithCode中的数据集条目。该模块采用了图补全和推理策略。
关键创新：ChatPD的关键创新在于利用LLM自动化数据集信息提取和实体解析，并提出了一种图补全和推理策略来提高实体解析的准确性。与传统的人工标注方法相比，ChatPD能够显著提高效率和覆盖范围。
关键设计：在数据集实体解析模块中，采用了图补全和推理策略。具体来说，首先构建一个包含数据集描述和已知数据集实体的图，然后利用图神经网络进行节点表示学习，最后通过推理算法将数据集描述映射到最相似的实体。具体的参数设置和网络结构在论文中未详细说明，属于未知信息。
🖼️ 关键图片
📊 实验亮点
ChatPD在数据集使用提取方面优于PapersWithCode平台，并在实体解析任务中达到了约90%的精确率和召回率。这些结果表明，ChatPD能够有效地自动化数据集信息提取和实体解析，显著提高科研效率。
🎯 应用场景
ChatPD可应用于学术搜索引擎、科研知识图谱构建、数据集推荐系统等领域。它可以帮助研究人员更高效地发现和利用数据集，促进科研合作和创新。未来，ChatPD可以扩展到其他类型的学术资源，例如代码、模型等，构建更全面的科研知识网络。
📄 摘要（原文）
Scientific research heavily depends on suitable datasets for method validation, but existing academic platforms with dataset management like PapersWithCode suffer from inefficiencies in their manual workflow. To overcome this bottleneck, we present a system, called ChatPD, that utilizes Large Language Models (LLMs) to automate dataset information extraction from academic papers and construct a structured paper-dataset network. Our system consists of three key modules: \textit{paper collection}, \textit{dataset information extraction}, and \textit{dataset entity resolution} to construct paper-dataset networks. Specifically, we propose a \textit{Graph Completion and Inference} strategy to map dataset descriptions to their corresponding entities. Through extensive experiments, we demonstrate that ChatPD not only outperforms the existing platform PapersWithCode in dataset usage extraction but also achieves about 90\% precision and recall in entity resolution tasks. Moreover, we have deployed ChatPD to continuously extract which datasets are used in papers, and provide a dataset discovery service, such as task-specific dataset queries and similar dataset recommendations. We open source ChatPD and the current paper-dataset network on this [GitHub repository]{https://github.com/ChatPD-web/ChatPD}.