Understanding the LLM-ification of CHI: Unpacking the Impact of LLMs at CHI through a Systematic Literature Review

📄 arXiv: 2501.12557v1 📥 PDF

作者: Rock Yuren Pang, Hope Schroeder, Kynnedy Simone Smith, Solon Barocas, Ziang Xiao, Emily Tseng, Danielle Bragg

分类: cs.HC, cs.AI, cs.CL, cs.CY

发布日期: 2025-01-22

备注: This is a preprint version of the paper conditionally accepted to CHI'25

💡 一句话要点

系统性文献综述揭示LLM在CHI研究中的应用、局限与未来机遇

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 人机交互 系统性文献综述 CHI会议 研究方法 LLM应用 HCI研究 LLM局限性

📋 核心要点

  1. 现有研究对LLM在HCI领域的实际应用情况缺乏系统性的理解，阻碍了该领域对LLM的有效利用。
  2. 通过系统性文献综述，分析LLM在CHI论文中的应用领域、角色、贡献类型以及局限性与风险。
  3. 研究揭示了LLM在HCI中的多种应用，但也指出了有效性、可重复性等问题，并提出了改进建议。

📝 摘要（中文）

大型语言模型（LLM）被认为将彻底改变人机交互（HCI）领域，不仅重塑我们研究的界面、设计模式和社会技术系统，还影响我们的研究实践。然而，目前对于LLM在HCI中的应用情况缺乏深入了解。本文通过对2020-24年间153篇涉及LLM的CHI论文进行系统性文献综述，填补了这一空白。我们对以下方面进行了分类：（1）LLM的应用领域；（2）LLM在HCI项目中的角色；（3）贡献类型；（4）已知的局限性和风险。研究发现LLM应用于10个不同的领域，主要通过经验性和人工制品贡献。作者使用LLM扮演五种不同的角色，包括作为研究工具或模拟用户。然而，作者经常提出关于有效性和可重复性的担忧，并且绝大多数研究都集中在封闭模型上。我们概述了利用LLM改进HCI研究的机会，并为研究人员提供了指导性问题，以考虑与LLM相关工作的有效性和适当性。

🔬 方法详解

问题定义：该论文旨在解决当前对大型语言模型（LLM）在人机交互（HCI）领域内应用情况缺乏系统性理解的问题。现有研究未能充分揭示LLM在HCI研究中的角色、贡献以及潜在的局限性，导致研究人员难以有效利用LLM来改进HCI研究。

核心思路：论文的核心思路是通过对CHI会议论文进行系统性的文献综述，全面分析LLM在HCI研究中的应用情况。通过对论文进行分类和分析，揭示LLM在不同领域的应用、扮演的角色、做出的贡献以及存在的局限性，从而为未来的HCI研究提供指导。

技术框架：该研究采用系统性文献综述的方法，主要包括以下几个阶段： 1. 文献检索：从CHI会议论文集中检索出涉及LLM的论文。 2. 论文筛选：根据预定的标准筛选出符合研究范围的论文。 3. 数据提取：从筛选出的论文中提取关键信息，包括LLM的应用领域、角色、贡献类型、局限性和风险等。 4. 数据分析：对提取的数据进行分类和分析，总结LLM在HCI研究中的应用情况。 5. 结果呈现：将分析结果以表格、图表等形式呈现，并进行讨论和总结。

关键创新：该研究的关键创新在于首次对LLM在CHI会议论文中的应用情况进行了系统性的文献综述。通过对大量论文的分析，揭示了LLM在HCI研究中的多种应用，并指出了当前研究存在的局限性，为未来的研究方向提供了有价值的参考。

关键设计：该研究的关键设计在于对论文进行分类的维度，包括LLM的应用领域、角色、贡献类型、局限性和风险等。这些维度能够全面地反映LLM在HCI研究中的应用情况，并为未来的研究提供指导。此外，研究还提出了指导性问题，帮助研究人员评估LLM相关工作的有效性和适当性。

📊 实验亮点

研究发现LLM在HCI领域有10个不同的应用领域，作者使用LLM扮演五种不同的角色，包括作为研究工具或模拟用户。但作者也提出了关于有效性和可重复性的担忧，并且绝大多数研究都集中在封闭模型上。这些发现为未来的HCI研究提供了重要的参考。

🎯 应用场景

该研究成果可应用于指导HCI研究人员更好地利用LLM进行研究，例如，选择合适的LLM模型、设计有效的实验方法、评估研究结果的有效性等。此外，该研究还可以帮助政策制定者了解LLM在HCI领域的应用情况，从而制定相应的政策来促进该领域的发展。

📄 摘要（原文）

Large language models (LLMs) have been positioned to revolutionize HCI, by reshaping not only the interfaces, design patterns, and sociotechnical systems that we study, but also the research practices we use. To-date, however, there has been little understanding of LLMs' uptake in HCI. We address this gap via a systematic literature review of 153 CHI papers from 2020-24 that engage with LLMs. We taxonomize: (1) domains where LLMs are applied; (2) roles of LLMs in HCI projects; (3) contribution types; and (4) acknowledged limitations and risks. We find LLM work in 10 diverse domains, primarily via empirical and artifact contributions. Authors use LLMs in five distinct roles, including as research tools or simulated users. Still, authors often raise validity and reproducibility concerns, and overwhelmingly study closed models. We outline opportunities to improve HCI research with and on LLMs, and provide guiding questions for researchers to consider the validity and appropriateness of LLM-related work.