REALM: A Dataset of Real-World LLM Use Cases

📄 arXiv: 2503.18792v2 📥 PDF

作者: Jingwen Cheng, Kshitish Ghate, Wenyue Hua, William Yang Wang, Hong Shen, Fei Fang

分类: cs.HC, cs.AI, cs.CL, cs.CY

发布日期: 2025-03-24 (更新: 2025-06-01)

备注: 11 pages, 3 figures

💡 一句话要点

构建REALM数据集，揭示LLM在现实世界的应用场景与用户画像

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 LLM应用 真实世界数据 用户画像 数据集构建

📋 核心要点

  1. 现有研究对LLM在真实世界中的应用缺乏全面理解，限制了对其社会影响的评估。
  2. REALM数据集通过收集Reddit和新闻文章中的LLM用例，揭示了LLM的应用多样性和用户特征。
  3. REALM数据集对LLM应用进行分类，并分析用户职业与应用类型之间的关系，为未来研究提供基础。

📝 摘要（中文）

大型语言模型（LLM），如GPT系列，正在推动重要的工业应用，并引发经济和社会变革。然而，我们对LLM在现实世界中的应用的全面理解仍然有限。为了解决这个问题，我们推出了REALM，一个包含超过94,000个LLM用例的数据集，这些用例来自Reddit和新闻文章。REALM捕捉了两个关键维度：LLM的多样化应用及其用户的统计信息。它对LLM应用进行分类，并探索用户的职业与他们使用的应用类型之间的关系。通过整合真实世界的数据，REALM提供了对LLM在不同领域采用情况的深入了解，为未来研究LLM不断演变的社会角色奠定了基础。

🔬 方法详解

问题定义：现有研究缺乏对大型语言模型（LLM）在真实世界应用场景的系统性分析，难以了解LLM的实际应用范围、用户特征以及潜在的社会影响。现有方法主要集中在模型本身的能力评估，而忽略了对真实世界使用情况的考察。

核心思路：该研究的核心思路是通过大规模收集真实世界的数据，构建一个包含丰富LLM用例的数据集，从而揭示LLM的应用模式和用户特征。通过分析这些数据，可以更好地理解LLM在不同领域的应用情况，以及不同用户群体如何使用LLM。

技术框架：REALM数据集的构建主要包含以下几个阶段：1) 数据收集：从Reddit和新闻文章等来源收集包含LLM用例的文本数据。2) 数据清洗：对收集到的数据进行清洗和预处理，去除噪声和冗余信息。3) 应用分类：对LLM的应用进行分类，例如写作辅助、代码生成、信息检索等。4) 用户画像：分析用户的职业、背景等信息，构建用户画像。5) 数据分析：对数据集进行统计分析，揭示LLM的应用模式和用户特征。

关键创新：该研究的关键创新在于构建了一个大规模的、包含真实世界LLM用例的数据集。与以往的研究相比，REALM数据集更加贴近实际应用场景，能够更准确地反映LLM的实际应用情况。此外，REALM数据集还包含了丰富的用户画像信息，有助于理解不同用户群体如何使用LLM。

关键设计：数据收集策略：采用特定的关键词和搜索策略，从Reddit和新闻文章中高效地收集LLM用例数据。应用分类体系：设计了一套全面的应用分类体系，涵盖了LLM的各种应用场景。用户画像构建方法：利用自然语言处理技术，从文本数据中提取用户的职业、背景等信息，构建用户画像。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

REALM数据集包含超过94,000个LLM用例，覆盖了广泛的应用领域和用户群体。通过对数据集的分析，研究人员可以了解LLM在不同领域的应用情况，以及不同用户群体如何使用LLM。例如，研究发现LLM在写作辅助、代码生成等领域的应用较为广泛，而不同职业的用户对LLM的应用需求也存在差异。

🎯 应用场景

REALM数据集可用于研究LLM在不同领域的应用情况，例如教育、医疗、金融等。它可以帮助企业了解LLM的市场需求，并开发更符合用户需求的产品。此外，REALM数据集还可以用于研究LLM的社会影响，例如对就业、教育公平等方面的影响。该数据集为未来研究LLM的伦理问题和社会影响提供了基础。

📄 摘要（原文）

Large Language Models (LLMs), such as the GPT series, have driven significant industrial applications, leading to economic and societal transformations. However, a comprehensive understanding of their real-world applications remains limited. To address this, we introduce REALM, a dataset of over 94,000 LLM use cases collected from Reddit and news articles. REALM captures two key dimensions: the diverse applications of LLMs and the demographics of their users. It categorizes LLM applications and explores how users' occupations relate to the types of applications they use. By integrating real-world data, REALM offers insights into LLM adoption across different domains, providing a foundation for future research on their evolving societal roles.