Using Large Language Models to Generate Authentic Multi-agent Knowledge Work Datasets
作者: Desiree Heim, Christian Jilek, Adrian Ulges, Andreas Dengel
分类: cs.AI, cs.CL
发布日期: 2024-09-06 (更新: 2024-10-24)
备注: Accepted and published (INFORMATIK Festival, Wiesbaden, 2024)
期刊: INFORMATIK 2024
DOI: 10.18420/inf2024_118
💡 一句话要点
提出一种基于大语言模型的多智能体知识工作数据集生成方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 知识工作 数据集生成 多智能体系统 数据增强
📋 核心要点
- 现有知识工作数据集在多样性、标注和上下文信息方面存在不足，阻碍了相关系统的评估和优化。
- 该论文提出一种可配置的多智能体知识工作数据集生成器，利用大语言模型模拟协作知识工作并生成文档。
- 实验结果表明，人类评估者认为生成文档具有较高的真实性，验证了该方法在生成高质量数据集方面的潜力。
📝 摘要（中文）
当前公开的知识工作数据集缺乏多样性、广泛的标注以及关于用户及其文档的上下文信息。这些问题阻碍了知识工作辅助系统的客观、可比的数据驱动评估和优化。由于在实际环境中收集此类数据需要大量资源，并且需要进行数据审查，因此收集此类数据集几乎是不可能的。为此，我们提出了一种可配置的多智能体知识工作数据集生成器。该系统模拟智能体之间的协作知识工作，生成由大型语言模型生成的文档和伴随的数据轨迹。此外，生成器将所有背景信息（在配置中给出或在模拟过程中创建）捕获在知识图中。最后，生成的数据集可以被利用和共享，而无需担心隐私或保密问题。本文介绍了我们方法的设计和愿景，重点是使用大型语言模型生成真实的知识工作文档。我们进行了一项研究，人类评估者认为53%的生成文档和74%的真实文档是真实的，这证明了我们方法的潜力。此外，我们分析了参与者评论中提到的真实性标准，并详细说明了已识别的常见问题的潜在改进。
🔬 方法详解
问题定义：现有知识工作数据集的收集面临诸多挑战，包括数据多样性不足、标注信息匮乏、用户和文档上下文信息缺失，以及数据收集过程中的隐私和保密问题。这些问题严重阻碍了知识工作辅助系统的客观评估和优化，使得研究人员难以获得高质量的训练和测试数据。
核心思路：该论文的核心思路是利用大型语言模型（LLM）的强大生成能力，构建一个可配置的多智能体知识工作数据集生成器。通过模拟多个智能体之间的协作，生成包含文档和数据轨迹的知识工作过程，从而克服现有数据集的局限性。
技术框架：该数据集生成器的整体框架包含以下几个主要模块：1) 配置模块：用于定义智能体的角色、任务、协作方式等参数；2) LLM生成模块：利用LLM生成文档内容，模拟智能体进行知识工作的过程；3) 数据跟踪模块：记录智能体之间的交互、文档修改等数据轨迹；4) 知识图谱构建模块：将配置信息和生成过程中的数据存储在知识图谱中，方便后续分析和利用。
关键创新：该论文的关键创新在于提出了一种基于LLM的知识工作数据集生成方法，能够自动生成包含丰富上下文信息和数据轨迹的多智能体协作数据集。与传统的手工收集方法相比，该方法能够显著降低数据收集成本，并避免隐私和保密问题。
关键设计：在LLM生成模块中，需要设计合适的prompt，引导LLM生成符合特定任务和角色的文档内容。在数据跟踪模块中，需要选择合适的数据结构和存储方式，记录智能体之间的交互和文档修改等信息。在知识图谱构建模块中，需要定义合适的实体和关系，将配置信息和生成过程中的数据整合到知识图谱中。
📊 实验亮点
实验结果表明，人类评估者认为53%的生成文档和74%的真实文档具有相似的真实性。这表明该方法生成的文档在一定程度上能够模拟真实的知识工作场景。此外，研究人员还分析了评估者对生成文档的评价，并提出了改进生成质量的建议。
🎯 应用场景
该研究成果可应用于知识管理、协同办公、智能文档处理等领域。生成的知识工作数据集可用于训练和评估知识工作辅助系统，例如智能推荐、自动摘要、信息检索等。此外，该方法还可以用于模拟不同场景下的知识工作过程，为企业提供决策支持。
📄 摘要（原文）
Current publicly available knowledge work data collections lack diversity, extensive annotations, and contextual information about the users and their documents. These issues hinder objective and comparable data-driven evaluations and optimizations of knowledge work assistance systems. Due to the considerable resources needed to collect such data in real-life settings and the necessity of data censorship, collecting such a dataset appears nearly impossible. For this reason, we propose a configurable, multi-agent knowledge work dataset generator. This system simulates collaborative knowledge work among agents producing Large Language Model-generated documents and accompanying data traces. Additionally, the generator captures all background information, given in its configuration or created during the simulation process, in a knowledge graph. Finally, the resulting dataset can be utilized and shared without privacy or confidentiality concerns. This paper introduces our approach's design and vision and focuses on generating authentic knowledge work documents using Large Language Models. Our study involving human raters who assessed 53% of the generated and 74% of the real documents as realistic demonstrates the potential of our approach. Furthermore, we analyze the authenticity criteria mentioned in the participants' comments and elaborate on potential improvements for identified common issues.