How Do Hackathons Foster Creativity? Towards AI Collaborative Evaluation of Creativity at Scale
作者: Jeanette Falk, Yiyi Chen, Janet Rafner, Mike Zhang, Johannes Bjerva, Alexander Nolte
分类: cs.HC, cs.AI, cs.SE
发布日期: 2025-03-06
备注: Accepted in Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems
💡 一句话要点
提出基于大规模黑客松项目的AI协同创造力评估方法，促进黑客松创意产出。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 黑客松 创造力评估 大规模数据分析 大型语言模型 AI辅助评估
📋 核心要点
- 现有黑客松创造力研究缺乏大规模数据支撑，难以深入理解黑客松形式与创意产出之间的关系。
- 本文利用大规模黑客松项目数据，结合有用性和新颖性定义，对创造力进行量化分析。
- 研究结果揭示了参与者特征、协作模式和黑客松设置对创造性项目的影响，并探讨了LLM辅助评估创造力的潜力。
📝 摘要（中文）
黑客松已成为加速创意想法和原型开发的流行协作活动。许多案例研究展示了其在工业、教育和研究等领域的创造性成果。然而，目前缺乏对黑客松中创造力的大规模研究，这阻碍了对黑客松形式如何促进创造性成果的理论发展。本文对193,353个黑客松项目进行了计算分析。通过将创造力定义为有用性和新颖性，我们将数据集精简至10,363个项目，从而分析参与者特征、协作模式和黑客松设置如何影响创造性项目的发展。本文的贡献是双重的：我们确定了组织者促进黑客松创造力的方法。我们还探索了使用大型语言模型（LLM）来增强对创造性成果的评估，并讨论了这样做的挑战和机遇，这对更广泛的创造力研究具有重要意义。
🔬 方法详解
问题定义：现有黑客松研究多为案例分析，缺乏对大规模黑客松项目数据的系统性分析，难以量化评估黑客松的创造力产出，以及影响创造力的关键因素。现有方法难以有效利用大规模数据，也缺乏对AI辅助评估创造力的探索。
核心思路：本文的核心思路是利用大规模黑客松项目数据，将创造力操作化为有用性和新颖性两个维度，并分析参与者特征、协作模式和黑客松设置等因素对创造力的影响。同时，探索使用大型语言模型（LLM）辅助评估创造性成果的可能性。
技术框架：整体框架包括数据收集与清洗、创造力指标定义与计算、影响因素分析和LLM辅助评估四个主要阶段。首先，收集大规模黑客松项目数据，并进行清洗和预处理。然后，基于有用性和新颖性定义，计算每个项目的创造力得分。接着，分析参与者特征、协作模式和黑客松设置等因素与创造力得分之间的关系。最后，探索使用LLM自动评估创造性成果，并与人工评估结果进行比较。
关键创新：本文的关键创新在于：1) 利用大规模黑客松项目数据进行创造力研究，弥补了现有研究的不足；2) 将创造力操作化为有用性和新颖性两个可量化的指标；3) 探索了使用大型语言模型（LLM）辅助评估创造性成果的可能性，为创造力研究提供了新的思路。
关键设计：在创造力指标定义方面，有用性可能通过项目解决问题的实际程度来衡量，新颖性则可能通过项目与其他项目的差异程度来衡量。在LLM辅助评估方面，可以采用Prompt Engineering的方式，设计合适的prompt，引导LLM对项目的创造力进行评分。具体参数设置和网络结构细节未知。
🖼️ 关键图片
📊 实验亮点
该研究分析了193,353个黑客松项目，精简至10,363个项目进行深入分析。研究结果表明，特定的参与者特征、协作模式和黑客松设置与更高的创造力得分相关。此外，初步实验表明，大型语言模型在一定程度上可以辅助评估创造性成果，但仍存在挑战。
🎯 应用场景
该研究成果可应用于优化黑客松组织策略，例如调整参与者构成、鼓励特定协作模式、优化活动设置等，以提升黑客松的创造力产出。此外，该研究对AI辅助创造力评估的探索，为更广泛的创造力研究提供了借鉴，未来可应用于创新项目筛选、创意评估等领域。
📄 摘要（原文）
Hackathons have become popular collaborative events for accelerating the development of creative ideas and prototypes. There are several case studies showcasing creative outcomes across domains such as industry, education, and research. However, there are no large-scale studies on creativity in hackathons which can advance theory on how hackathon formats lead to creative outcomes. We conducted a computational analysis of 193,353 hackathon projects. By operationalizing creativity through usefulness and novelty, we refined our dataset to 10,363 projects, allowing us to analyze how participant characteristics, collaboration patterns, and hackathon setups influence the development of creative projects. The contribution of our paper is twofold: We identified means for organizers to foster creativity in hackathons. We also explore the use of large language models (LLMs) to augment the evaluation of creative outcomes and discuss challenges and opportunities of doing this, which has implications for creativity research at large.