Scaling Technology Acceptance Analysis with Large Language Model (LLM) Annotation Systems

📄 arXiv: 2407.00702v1 📥 PDF

作者: Pawel Robert Smolinski, Joseph Januszewicz, Jacek Winiarski

分类: cs.CL

发布日期: 2024-06-30

备注: This is a preprint of a paper accepted for the 32nd International Conference on Information Systems Development (ISD 2024), Gdansk, Poland

💡 一句话要点

利用大语言模型标注系统扩展技术接受度分析

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 技术接受度 用户评论分析 UTAUT模型 自然语言处理

📋 核心要点

  1. 传统技术接受度调查成本高、效率低，难以快速获取用户反馈。
  2. 利用LLM构建标注系统，自动将用户评论转化为结构化数据，降低分析成本。
  3. 实验表明，LLM标注与专家标注高度一致，为技术采纳分析提供有效替代方案。

📝 摘要（中文）

技术接受模型能有效预测用户对新技术的采纳程度。传统的调查方法虽然常用，但成本高昂且繁琐。本文探索使用大型语言模型（LLM）标注在线用户生成内容（如数字评论和评论）作为调查的替代方案。研究设计了一个LLM标注系统，该系统基于技术接受与使用统一理论模型（UTAUT）将评论转换为结构化数据。通过两项研究验证了标注的一致性和准确性。结果表明，LLM标注系统具有中等到较强的一致性，并且通过降低模型温度可以进一步提高一致性。LLM标注与人类专家标注达成了高度一致，并且在UTAUT变量方面优于专家之间的一致性。这些结果表明，LLM可以作为分析用户情感的有效工具，为传统的调查方法提供了一种实用的替代方案，并能够更深入地了解技术设计和采纳。

🔬 方法详解

问题定义：论文旨在解决传统技术接受度分析中，依赖人工调查导致成本高昂、耗时的问题。现有方法难以快速、经济地获取大规模用户反馈，从而限制了对技术采纳的深入理解和及时调整。

核心思路：论文的核心思路是利用大型语言模型（LLM）的自然语言理解和生成能力，自动标注用户在线评论，提取与技术接受度相关的关键信息。通过将非结构化的文本数据转化为结构化的数据，降低分析成本，提高分析效率。

技术框架：该研究构建了一个基于LLM的标注系统。该系统接收用户评论作为输入，利用LLM对评论进行分析，提取与UTAUT模型相关的变量（如性能期望、努力期望、社会影响、便利条件等）。然后，系统将提取的信息转化为结构化数据，用于后续的统计分析和预测。整体流程包括数据收集、LLM标注、一致性评估和准确性验证。

关键创新：该研究的关键创新在于将LLM应用于技术接受度分析，并验证了其可行性和有效性。与传统的人工标注相比，LLM标注具有成本低、效率高的优势。此外，研究还发现，通过调整LLM的温度参数，可以进一步提高标注的一致性。

关键设计：研究中，LLM被用作一个标注器，通过提示工程（Prompt Engineering）引导LLM提取用户评论中与UTAUT模型相关的变量。研究人员探索了不同的提示策略和模型参数（如温度）对标注结果的影响。此外，研究还采用了多种一致性评估指标（如Cohen's Kappa）来评估LLM标注的可靠性。

📊 实验亮点

实验结果表明，LLM标注系统具有中等到较强的一致性，并且通过降低模型温度可以进一步提高一致性。LLM标注与人类专家标注达成了高度一致，并且在UTAUT变量方面优于专家之间的一致性。例如，在某些UTAUT变量上，LLM标注与专家标注的Cohen's Kappa值达到了0.7以上。

🎯 应用场景

该研究成果可应用于新产品发布前的用户接受度预测、产品改进方向的挖掘、竞争对手产品分析等领域。通过快速分析用户评论，企业可以及时了解用户需求，优化产品设计，提高市场竞争力。此外，该方法还可以扩展到其他领域，如舆情分析、市场调研等。

📄 摘要（原文）

Technology acceptance models effectively predict how users will adopt new technology products. Traditional surveys, often expensive and cumbersome, are commonly used for this assessment. As an alternative to surveys, we explore the use of large language models for annotating online user-generated content, like digital reviews and comments. Our research involved designing an LLM annotation system that transform reviews into structured data based on the Unified Theory of Acceptance and Use of Technology model. We conducted two studies to validate the consistency and accuracy of the annotations. Results showed moderate-to-strong consistency of LLM annotation systems, improving further by lowering the model temperature. LLM annotations achieved close agreement with human expert annotations and outperformed the agreement between experts for UTAUT variables. These results suggest that LLMs can be an effective tool for analyzing user sentiment, offering a practical alternative to traditional survey methods and enabling deeper insights into technology design and adoption.