The role of large language models in UI/UX design: A systematic literature review

📄 arXiv: 2507.04469v2 📥 PDF

作者: Ammar Ahmed, Ali Shariq Imran

分类: cs.HC, cs.AI, cs.CL

发布日期: 2025-07-06 (更新: 2025-07-17)

💡 一句话要点

系统性综述：大型语言模型在UI/UX设计中的应用与挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: UI/UX设计 大型语言模型 人机协作 提示工程 系统性综述 GPT-4 自动化设计

📋 核心要点

  1. 现有UI/UX设计流程耗时且依赖人工，缺乏自动化和智能化的支持，难以快速响应用户需求。
  2. 本研究通过系统性综述，分析了大型语言模型在UI/UX设计各阶段的应用，探索其潜在价值和局限性。
  3. 研究结果表明，LLM能够辅助UI/UX设计，但同时也面临幻觉、可解释性等挑战，需要进一步研究和改进。

📝 摘要（中文）

本系统性文献综述探讨了大型语言模型（LLM）在UI/UX设计中的作用，综合了2022年至2025年间发表的38篇同行评审研究的成果。我们识别了关键的LLM，包括GPT-4、Gemini和PaLM，并绘制了它们在设计生命周期中的集成，从构思到评估。常见的实践包括提示工程、人机协作工作流程和多模态输入。虽然LLM正在重塑设计流程，但幻觉、提示不稳定和有限的可解释性等挑战仍然存在。我们的研究结果强调了LLM作为设计领域新兴的协作者，并为这些技术的伦理、包容和有效集成提出了方向。

🔬 方法详解

问题定义：UI/UX设计过程通常需要大量的人工参与，包括用户调研、原型设计、用户测试和迭代优化等环节。传统方法效率较低，且难以充分利用用户数据进行个性化设计。此外，现有设计工具智能化程度不高，难以满足快速变化的用户需求。

核心思路：利用大型语言模型（LLM）的强大自然语言处理和生成能力，自动化或半自动化UI/UX设计流程中的各个环节。通过提示工程、人机协作等方式，将LLM作为设计者的辅助工具，提高设计效率和质量。

技术框架：该综述分析了LLM在UI/UX设计生命周期中的应用，包括：1) 构思阶段：利用LLM进行头脑风暴、生成设计灵感；2) 原型设计阶段：根据用户需求和设计规范，自动生成UI原型；3) 用户测试阶段：分析用户反馈，识别设计缺陷；4) 评估阶段：评估UI/UX设计的可用性和用户满意度。整个流程强调人机协作，设计者负责监督和调整LLM的输出。

关键创新：该研究的关键创新在于系统性地分析了LLM在UI/UX设计中的应用潜力，并识别了其面临的挑战。与以往零散的研究不同，该综述提供了一个全面的视角，帮助研究者和从业者了解LLM在UI/UX设计领域的最新进展和未来发展方向。

关键设计：研究中提到的关键设计包括：1) 提示工程：设计有效的提示语，引导LLM生成符合要求的UI/UX设计；2) 人机协作：建立有效的人机交互界面，方便设计者对LLM的输出进行修改和调整；3) 多模态输入：利用文本、图像、音频等多种模态的数据，提高LLM对用户需求的理解能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该综述分析了38篇相关研究，涵盖了GPT-4、Gemini和PaLM等主流LLM在UI/UX设计中的应用。研究结果表明，LLM能够有效辅助UI/UX设计的各个环节，例如生成设计灵感、自动生成UI原型和分析用户反馈。然而，LLM也存在幻觉、提示不稳定和可解释性差等问题，需要进一步研究和改进。

🎯 应用场景

该研究成果可应用于各种软件和Web应用的UI/UX设计，例如移动应用、电商平台、社交媒体等。通过利用LLM，可以显著缩短设计周期，降低设计成本，并提高用户满意度。未来，LLM有望成为UI/UX设计领域的重要工具，推动设计流程的智能化和自动化。

📄 摘要（原文）

This systematic literature review examines the role of large language models (LLMs) in UI/UX design, synthesizing findings from 38 peer-reviewed studies published between 2022 and 2025. We identify key LLMs in use, including GPT-4, Gemini, and PaLM, and map their integration across the design lifecycle, from ideation to evaluation. Common practices include prompt engineering, human-in-the-loop workflows, and multimodal input. While LLMs are reshaping design processes, challenges such as hallucination, prompt instability, and limited explainability persist. Our findings highlight LLMs as emerging collaborators in design, and we propose directions for the ethical, inclusive, and effective integration of these technologies.