LLMs as Research Tools: A Large Scale Survey of Researchers' Usage and Perceptions

📄 arXiv: 2411.05025v1 📥 PDF

作者: Zhehui Liao, Maria Antoniak, Inyoung Cheong, Evie Yu-Yen Cheng, Ai-Heng Lee, Kyle Lo, Joseph Chee Chang, Amy X. Zhang

分类: cs.CL, cs.AI, cs.CY, cs.DL, cs.HC

发布日期: 2024-10-30

备注: 30 pages, 5 figures

💡 一句话要点

大规模调研揭示研究人员对LLM作为科研工具的使用情况与看法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 科研工具 问卷调查 研究公平性 伦理问题

📋 核心要点

  1. 现有研究缺乏对研究人员如何以及为何使用LLM进行量化和特征描述。
  2. 通过大规模调研，了解研究人员对LLM作为科研工具的实际应用和主观认知。
  3. 调研发现，大多数研究人员已将LLM融入工作流程，且弱势群体受益更多，但伦理问题阻碍了部分人群的使用。

📝 摘要（中文）

大型语言模型（LLM）的兴起促使许多研究人员考虑将其应用于科学研究。一些人发现使用LLM可以增强或自动化其研究流程的某些方面，而另一些人则因风险和伦理问题而敦促谨慎。然而，很少有工作试图量化和描述研究人员如何使用LLM以及原因。本文对816名经过验证的学术论文作者进行了首次大规模调查，旨在了解研究界如何利用LLM并将其视为研究工具。我们调查了参与者自我报告的LLM使用情况，发现81%的研究人员已经将LLM纳入其研究工作流程的不同方面。我们还发现，学术界传统上的弱势群体（非白人、资历较浅和非英语母语的研究人员）报告了更高的LLM使用率和感知到的益处，这表明有可能改善研究公平性。然而，女性、非二元性别和资深研究人员对伦理问题更为关注，这可能会阻碍采用。

🔬 方法详解

问题定义：论文旨在量化和描述研究人员如何使用大型语言模型（LLM）作为研究工具，并了解他们对LLM的看法。现有研究缺乏对LLM在科研领域应用情况的全面了解，特别是不同人群的使用差异和伦理考量。

核心思路：论文的核心思路是通过大规模问卷调查，收集研究人员使用LLM的实际数据和主观感受，从而揭示LLM在科研领域的应用现状、潜在益处和伦理挑战。通过对不同人群的分析，探讨LLM对研究公平性的影响。

技术框架：该研究采用问卷调查的方式，主要分为以下几个阶段： 1. 问卷设计：设计包含LLM使用情况、感知益处、伦理担忧等问题的问卷。 2. 数据收集：向816名经过验证的学术论文作者发送问卷。 3. 数据分析：对收集到的数据进行统计分析，包括LLM使用率、不同人群的差异、伦理担忧等。 4. 结果呈现：将分析结果以图表和文字的形式呈现，并进行深入讨论。

关键创新：该研究的主要创新在于： 1. 首次对研究人员使用LLM的情况进行了大规模的量化调查。 2. 揭示了LLM在科研领域应用的现状、潜在益处和伦理挑战。 3. 探讨了LLM对研究公平性的影响，发现弱势群体受益更多，但伦理问题阻碍了部分人群的使用。

关键设计：问卷设计是该研究的关键。问卷问题涵盖了LLM的使用频率、用途（例如，写作辅助、数据分析、代码生成）、感知到的益处（例如，提高效率、促进创新）、以及伦理担忧（例如，抄袭、数据安全）。研究人员还收集了参与者的背景信息，例如种族、性别、资历和英语水平，以便进行更细致的分析。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现，81%的研究人员已将LLM融入研究工作流程。非白人、资历较浅和非英语母语的研究人员报告了更高的LLM使用率和感知到的益处，表明LLM可能有助于改善研究公平性。然而，女性、非二元性别和资深研究人员对伦理问题更为关注，这可能会阻碍LLM的采用。

🎯 应用场景

该研究结果可用于指导科研人员更合理地使用LLM，充分发挥其优势，同时避免潜在风险。研究结果还可以帮助政策制定者制定相关政策，促进科研公平，并解决伦理问题。此外，该研究也为LLM开发者提供了反馈，帮助他们开发更符合科研需求的LLM工具。

📄 摘要（原文）

The rise of large language models (LLMs) has led many researchers to consider their usage for scientific work. Some have found benefits using LLMs to augment or automate aspects of their research pipeline, while others have urged caution due to risks and ethical concerns. Yet little work has sought to quantify and characterize how researchers use LLMs and why. We present the first large-scale survey of 816 verified research article authors to understand how the research community leverages and perceives LLMs as research tools. We examine participants' self-reported LLM usage, finding that 81% of researchers have already incorporated LLMs into different aspects of their research workflow. We also find that traditionally disadvantaged groups in academia (non-White, junior, and non-native English speaking researchers) report higher LLM usage and perceived benefits, suggesting potential for improved research equity. However, women, non-binary, and senior researchers have greater ethical concerns, potentially hindering adoption.