Tempo: Helping Data Scientists and Domain Experts Collaboratively Specify Predictive Modeling Tasks
作者: Venkatesh Sivaraman, Anika Vaishampayan, Xiaotong Li, Brian R Buck, Ziyong Ma, Richard D Boyce, Adam Perer
分类: cs.HC, cs.AI
发布日期: 2025-02-14 (更新: 2025-02-20)
备注: Appearing at CHI 2025
💡 一句话要点
Tempo：协同式预测建模任务规范交互系统，提升数据科学家与领域专家合作效率
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 时序预测模型 模型规范 人机交互 协同建模 领域专家
📋 核心要点
- 现有时序预测模型在实际应用中，由于模型规范不明确，难以满足决策者的期望，导致模型效果不佳。
- Tempo系统通过交互式界面和时序查询语言，促进数据科学家和领域专家协同迭代模型规范，提升模型透明度和可解释性。
- 通过案例研究表明，Tempo能够帮助团队快速排除不可行的模型规范，并找到更有潜力的优化方向，提升建模效率。
📝 摘要（中文）
时序预测模型在医疗保健、公共服务等领域具有改进决策的潜力，但它们往往不能有效地支持决策者。以往的研究表明，模型行为与决策者期望之间的许多不一致源于模型规范问题，即如何、何时以及为谁进行预测。然而，预测任务的模型规范具有高度技术性，非数据科学家利益相关者难以解释和评价。为了解决这一挑战，我们开发了Tempo，一个交互式系统，旨在帮助数据科学家和领域专家协同迭代模型规范。通过Tempo简单而精确的时序查询语言，数据科学家可以快速构建具有更高预处理透明度的规范原型。此外，领域专家可以在数据子组中评估性能，以验证模型是否按预期运行。通过三个案例研究，我们展示了Tempo如何帮助多学科团队快速剔除不可行的规范，并确定更有希望的探索方向。
🔬 方法详解
问题定义：论文旨在解决时序预测模型在实际应用中，由于模型规范不明确，导致模型行为与领域专家期望不符的问题。现有方法通常由数据科学家主导模型规范的制定，领域专家难以参与和理解，导致模型与实际需求脱节。现有方法缺乏有效的工具和流程，支持数据科学家和领域专家协同迭代模型规范。
核心思路：论文的核心思路是设计一个交互式系统Tempo，通过简单而精确的时序查询语言，让数据科学家能够快速构建模型规范原型，并提高预处理过程的透明度。同时，Tempo允许领域专家在数据子组中评估模型性能，验证模型行为是否符合预期，从而促进数据科学家和领域专家之间的有效沟通和协作。
技术框架：Tempo系统主要包含以下几个模块：1) 时序查询语言：用于描述模型规范，包括预测目标、时间窗口、特征选择等。2) 交互式界面：提供可视化工具，方便数据科学家和领域专家进行模型规范的编辑、评估和迭代。3) 数据子组分析：允许领域专家在特定的数据子组中评估模型性能，发现潜在的问题。4) 模型性能评估：提供多种评估指标，帮助用户了解模型的预测效果。
关键创新：Tempo系统的关键创新在于：1) 提出了简单而精确的时序查询语言，降低了模型规范的编写难度。2) 设计了交互式界面，促进了数据科学家和领域专家之间的协同工作。3) 提供了数据子组分析功能，帮助用户发现模型在特定人群中的表现差异。与现有方法相比，Tempo更加注重模型规范的透明性和可解释性，以及领域专家的参与度。
关键设计：Tempo的时序查询语言允许用户指定预测目标、时间窗口、特征选择等。交互式界面提供了可视化工具，方便用户进行模型规范的编辑和评估。数据子组分析功能允许用户根据特定的属性（例如，年龄、性别、疾病类型）对数据进行分组，并在每个组中评估模型性能。具体的参数设置和损失函数取决于具体的预测任务。
🖼️ 关键图片
📊 实验亮点
论文通过三个案例研究展示了Tempo的有效性。案例研究表明，Tempo能够帮助多学科团队快速排除不可行的模型规范，并找到更有潜力的优化方向。例如，在一个案例中，使用Tempo后，团队能够更快地识别出一个潜在的数据偏差问题，并及时调整模型规范，从而提高了模型的预测精度。
🎯 应用场景
Tempo系统可应用于医疗健康、公共服务等领域，帮助领域专家和数据科学家协同构建更符合实际需求的预测模型。例如，在医疗领域，Tempo可以用于预测患者的疾病风险、住院时间等，从而帮助医生制定更有效的治疗方案。在公共服务领域，Tempo可以用于预测犯罪率、交通拥堵等，从而帮助政府制定更合理的政策。
📄 摘要（原文）
Temporal predictive models have the potential to improve decisions in health care, public services, and other domains, yet they often fail to effectively support decision-makers. Prior literature shows that many misalignments between model behavior and decision-makers' expectations stem from issues of model specification, namely how, when, and for whom predictions are made. However, model specifications for predictive tasks are highly technical and difficult for non-data-scientist stakeholders to interpret and critique. To address this challenge we developed Tempo, an interactive system that helps data scientists and domain experts collaboratively iterate on model specifications. Using Tempo's simple yet precise temporal query language, data scientists can quickly prototype specifications with greater transparency about pre-processing choices. Moreover, domain experts can assess performance within data subgroups to validate that models behave as expected. Through three case studies, we demonstrate how Tempo helps multidisciplinary teams quickly prune infeasible specifications and identify more promising directions to explore.