Participation in the age of foundation models
作者: Harini Suresh, Emily Tseng, Meg Young, Mary L. Gray, Emma Pierson, Karen Levy
分类: cs.CY, cs.AI, cs.HC, cs.LG
发布日期: 2024-05-29
备注: 13 pages, 2 figures. Appeared at FAccT '24
期刊: In The 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT '24), June 3-6, 2024, Rio de Janeiro, Brazil. ACM, New York, NY, USA, 13 pages
💡 一句话要点
针对通用大模型，提出多层参与式框架，提升下游应用中边缘群体的话语权和决策能力。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 基础模型 参与式设计 边缘群体 公平性 可解释性 多层框架 社会责任
📋 核心要点
- 现有参与式AI/ML方法难以应用于与情境脱节的通用大模型，边缘群体难以有效参与模型的设计和使用。
- 提出多层参与式框架，包含基础层、底层和表面层，分别对应模型构建、领域规范和下游应用。
- 通过临床护理、金融服务和新闻业的案例研究，验证了该框架在提升边缘群体参与度和降低潜在危害方面的有效性。
📝 摘要（中文）
对基础模型能力日益增长的兴趣和投资，使其能够影响广泛的公共服务。但与此同时，这些系统也存在着固化现有权力失衡，并对边缘化群体造成不成比例伤害的风险。参与式方法有望将能动性和决策权赋予边缘化利益相关者。然而，现有的参与式AI/ML方法通常与特定情境紧密相关——我们如何将这些方法应用于本质上与情境脱节的基础模型？本文探讨了这个问题。首先，我们考察了将参与纳入基础模型的现有尝试。我们强调了参与和规模之间的紧张关系，表明受影响的社区难以有意义地塑造一个旨在普遍适用的基础模型。为此，我们开发了一个参与式基础模型的蓝图，确定了更具本地化、面向应用的、有意义的参与机会。除了“基础”层，我们的框架还提出了“底层”层，利益相关者为特定的领域开发共享的技术基础设施、规范和治理；以及“表面”层，受影响的社区塑造基础模型在特定下游任务中的使用。中间的“底层”层缩小了需要考虑的潜在危害范围，并为社区提供了更具体的审议和干预途径。同时，它通过在相关用例中扩展输入来避免重复工作。通过临床护理、金融服务和新闻业的三个案例研究，我们说明了这种多层模型如何比仅在基础层进行干预创造更有意义的参与机会。
🔬 方法详解
问题定义：论文旨在解决通用基础模型在实际应用中，边缘化群体难以有效参与，导致模型可能加剧社会不公的问题。现有参与式AI/ML方法通常依赖于特定情境，无法直接应用于通用性强、与情境脱节的基础模型。因此，如何设计一种能够有效促进边缘群体参与，并降低基础模型潜在危害的框架是本文要解决的核心问题。
核心思路：论文的核心思路是将参与式设计分解为多个层次，从而在保证基础模型通用性的同时，为边缘化群体提供更具针对性的参与机会。通过引入“底层”和“表面”层，将参与范围限定在特定领域和应用场景，使得参与过程更加具体和可操作。这种分层设计既避免了全局参与的复杂性，又保证了参与的有效性和针对性。
技术框架：该框架包含三个主要层次： 1. 基础层 (Foundation Layer)：对应于通用的基础模型，由模型开发者构建。 2. 底层 (Subfloor Layer)：针对特定领域，由利益相关者共同开发共享的技术基础设施、规范和治理机制。该层旨在缩小潜在危害范围，并为社区提供审议和干预途径。 3. 表面层 (Surface Layer)：针对具体的下游任务，由受影响的社区塑造基础模型的使用方式。该层关注于特定应用场景下的模型优化和调整。
关键创新：该论文的关键创新在于提出了一个多层次的参与式框架，将参与过程分解为基础层、底层和表面层。这种分层设计使得参与过程更加具体、可操作，并能够更好地平衡通用性和参与性之间的关系。与传统的全局参与方法相比，该框架能够更有效地促进边缘化群体的参与，并降低基础模型在实际应用中的潜在危害。
关键设计：论文侧重于框架设计，而非具体的参数或网络结构。关键设计在于“底层”的构建，需要利益相关者共同参与，制定领域规范和治理机制。具体的技术细节会根据不同的领域和应用场景而有所不同。例如，在临床护理领域，底层可能包括数据隐私保护协议、模型公平性评估标准等。
🖼️ 关键图片
📊 实验亮点
论文通过临床护理、金融服务和新闻业的三个案例研究，展示了多层参与式框架的有效性。案例研究表明，与仅在基础层进行干预相比，该框架能够创造更有意义的参与机会，并更好地解决特定领域和应用场景下的问题。
🎯 应用场景
该研究成果可应用于各种涉及基础模型的公共服务领域，例如临床护理、金融服务、新闻业等。通过构建多层参与式框架，可以提升边缘群体在模型设计和使用中的话语权，降低模型可能带来的歧视和不公，促进更公平、更负责任的AI应用。
📄 摘要（原文）
Growing interest and investment in the capabilities of foundation models has positioned such systems to impact a wide array of public services. Alongside these opportunities is the risk that these systems reify existing power imbalances and cause disproportionate harm to marginalized communities. Participatory approaches hold promise to instead lend agency and decision-making power to marginalized stakeholders. But existing approaches in participatory AI/ML are typically deeply grounded in context - how do we apply these approaches to foundation models, which are, by design, disconnected from context? Our paper interrogates this question. First, we examine existing attempts at incorporating participation into foundation models. We highlight the tension between participation and scale, demonstrating that it is intractable for impacted communities to meaningfully shape a foundation model that is intended to be universally applicable. In response, we develop a blueprint for participatory foundation models that identifies more local, application-oriented opportunities for meaningful participation. In addition to the "foundation" layer, our framework proposes the "subfloor'' layer, in which stakeholders develop shared technical infrastructure, norms and governance for a grounded domain, and the "surface'' layer, in which affected communities shape the use of a foundation model for a specific downstream task. The intermediate "subfloor'' layer scopes the range of potential harms to consider, and affords communities more concrete avenues for deliberation and intervention. At the same time, it avoids duplicative effort by scaling input across relevant use cases. Through three case studies in clinical care, financial services, and journalism, we illustrate how this multi-layer model can create more meaningful opportunities for participation than solely intervening at the foundation layer.