Eliciting Model Steering Interactions from Users via Data and Visual Design Probes
作者: Anamaria Crisan, Maddie Shang, Eric Brochu
分类: cs.HC, cs.LG
发布日期: 2023-10-12
💡 一句话要点
通过数据与视觉设计探针引导用户与模型的交互
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 机器学习 语义交互 数据科学 用户体验 模型调试 设计探针 领域专家 交互设计
📋 核心要点
- 领域专家在使用自动化数据科学工具时，面临调试机器学习模型的困难，尤其是在模型错误时。
- 本研究通过数据和视觉设计探针，探索专家如何利用语义交互更新分类模型，促进与模型的互动。
- 研究发现，参与者在与模型交互时的犹豫主要源于认知负担和偏见担忧，同时也发现了团队协作的潜在价值。
📝 摘要（中文）
随着领域专家越来越多地使用自动化数据科学工具来整合机器学习（ML）模型，他们在模型出现错误时却面临“调试”的困难。语义交互为这些专家提供了一种可访问的途径，以指导和优化ML模型，而无需深入其技术细节。本研究通过数据和视觉设计探针进行了一项引导研究，探讨具有不同ML专业知识的专家如何利用语义交互更新简单的分类模型。我们与20名参与者进行互动对话，并将其交互编码为一组目标交互对。研究发现，许多语义交互的目标并不直接映射到ML模型参数，而是旨在增强模型用于训练的数据。参与者在与ML模型交互时的犹豫原因包括认知负担和引入偏见的担忧。意外的是，参与者还看到了利用语义交互与团队成员协作的价值。我们的研究表明，设计探针是有效的工具，可以主动收集应在交互式机器学习系统中提供的功能。
🔬 方法详解
问题定义：本论文旨在解决领域专家在使用机器学习模型时遇到的调试困难，现有方法往往缺乏有效的交互机制，使得专家无法轻松更新模型。
核心思路：通过引入数据和视觉设计探针，论文探索了专家如何利用语义交互来更新模型，而不需要深入复杂的技术细节，从而降低认知负担。
技术框架：研究采用了互动对话的方式，邀请20名参与者进行实验，收集他们的交互数据，并将其编码为目标交互对，形成一个系统的交互框架。
关键创新：论文的创新点在于发现语义交互的目标并不直接对应于模型参数，而是侧重于增强训练数据，这一发现为机器学习模型的交互设计提供了新的视角。
关键设计：研究中设计了多种视觉探针，帮助参与者表达他们的需求和反馈，同时关注参与者的认知负担和对偏见的担忧，确保交互过程的有效性和安全性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，参与者在使用语义交互时，能够有效地更新模型的训练数据，而不是直接调整模型参数。这一发现表明，设计探针在促进专家与机器学习模型之间的有效沟通方面具有显著效果，尤其是在认知负担较低的情况下，参与者的互动意愿显著提高。
🎯 应用场景
该研究的潜在应用领域包括医疗、金融和教育等多个行业，领域专家可以利用语义交互来优化机器学习模型，从而提高决策的准确性和效率。未来，这种交互机制可能会促进更广泛的机器学习应用，使非技术用户也能有效参与模型的调整与优化。
📄 摘要（原文）
Domain experts increasingly use automated data science tools to incorporate machine learning (ML) models in their work but struggle to "debug" these models when they are incorrect. For these experts, semantic interactions can provide an accessible avenue to guide and refine ML models without having to programmatically dive into its technical details. In this research, we conduct an elicitation study using data and visual design probes to examine if and how experts with a spectrum of ML expertise use semantic interactions to update a simple classification model. We use our design probes to facilitate an interactive dialogue with 20 participants and codify their interactions as a set of target-interaction pairs. Interestingly, our findings revealed that many targets of semantic interactions do not directly map to ML model parameters, but instead aim to augment the data a model uses for training. We also identify reasons that participants would hesitate to interact with ML models, including burdens of cognitive load and concerns of injecting bias. Unexpectedly participants also saw the value of using semantic interactions to work collaboratively with members of their team. Participants with less ML expertise found this to be a useful mechanism for communicating their concerns to ML experts. This was an especially important observation, as our study also shows the different needs that correspond to diverse ML expertise. Collectively, we demonstrate that design probes are effective tools for proactively gathering the affordances that should be offered in an interactive machine learning system.