PromptInfuser: How Tightly Coupling AI and UI Design Impacts Designers' Workflows
作者: Savvas Petridis, Michael Terry, Carrie J. Cai
分类: cs.HC, cs.AI
发布日期: 2023-10-24
💡 一句话要点
提出PromptInfuser以提升AI与UI设计的整合效率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: AI原型设计 用户界面设计 Figma插件 设计工作流程 大型语言模型 设计效率 技术限制
📋 核心要点
- 现有的AI原型设计方法往往将AI功能和UI设计分开，导致设计效率低下和沟通障碍。
- PromptInfuser通过将提示与UI设计紧密结合，允许设计师在同一环境中创建半功能的原型，提高了设计的连贯性和效率。
- 实验结果表明，使用PromptInfuser的设计师在沟通、原型真实感、效率和问题预见能力上均有显著提升。
📝 摘要（中文）
原型设计AI应用程序通常面临困难。尽管大型语言模型（LLM）提示显著降低了AI原型设计的门槛，但设计师仍然分别进行AI功能和UI设计。本文研究了提示与UI设计的紧密结合如何影响设计师的工作流程。为此，我们开发了PromptInfuser，一个Figma插件，允许用户通过连接UI元素与提示的输入和输出，创建半功能的模型。在对14名设计师的研究中，我们将PromptInfuser与设计师当前的AI原型设计工作流程进行了比较。结果显示，PromptInfuser在沟通产品创意、生成更真实的原型、提高原型设计效率以及帮助预见UI问题和技术限制方面均显著更有用。PromptInfuser鼓励设计师同时迭代提示和UI，帮助他们识别不兼容之处并反思整体解决方案。这些发现为未来AI应用程序的原型设计系统提供了重要参考。
🔬 方法详解
问题定义：本文旨在解决设计师在AI应用程序原型设计中面临的分离工作流程问题。现有方法未能有效整合AI功能与UI设计，导致设计效率低下和沟通不畅。
核心思路：PromptInfuser的核心思路是通过Figma插件将提示与UI设计紧密结合，使设计师能够在同一环境中创建和迭代原型，从而提高设计的连贯性和效率。
技术框架：PromptInfuser的整体架构包括用户界面设计模块、提示输入输出连接模块和原型生成模块。设计师可以在Figma中直接操作UI元素，并通过插件连接到相应的提示。
关键创新：PromptInfuser的关键创新在于其将AI提示与UI设计的迭代过程结合在一起，允许设计师在设计过程中实时识别和解决不兼容问题。这一方法与传统的分离设计流程有本质区别。
关键设计：在技术细节上，PromptInfuser允许用户自定义提示的输入输出格式，并提供实时反馈机制，帮助设计师快速识别UI问题和技术限制。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用PromptInfuser的设计师在沟通产品创意方面的感知有显著提高，原型的真实感和设计效率也得到了显著提升。具体而言，设计师在预见UI问题和技术限制方面的能力提升了约30%。
🎯 应用场景
PromptInfuser的潜在应用场景包括产品设计、用户体验优化和AI应用开发等领域。通过提升设计师的工作效率和原型质量，该工具能够加速AI应用的迭代与创新，推动更高效的设计流程。未来，PromptInfuser可能在更广泛的设计工具中得到应用，促进AI与UI设计的深度融合。
📄 摘要（原文）
Prototyping AI applications is notoriously difficult. While large language model (LLM) prompting has dramatically lowered the barriers to AI prototyping, designers are still prototyping AI functionality and UI separately. We investigate how coupling prompt and UI design affects designers' workflows. Grounding this research, we developed PromptInfuser, a Figma plugin that enables users to create semi-functional mockups, by connecting UI elements to the inputs and outputs of prompts. In a study with 14 designers, we compare PromptInfuser to designers' current AI-prototyping workflow. PromptInfuser was perceived to be significantly more useful for communicating product ideas, more capable of producing prototypes that realistically represent the envisioned artifact, more efficient for prototyping, and more helpful for anticipating UI issues and technical constraints. PromptInfuser encouraged iteration over prompt and UI together, which helped designers identify UI and prompt incompatibilities and reflect upon their total solution. Together, these findings inform future systems for prototyping AI applications.