The Foundation Model Transparency Index

📄 arXiv: 2310.12941v1 📥 PDF

作者: Rishi Bommasani, Kevin Klyman, Shayne Longpre, Sayash Kapoor, Nestor Maslej, Betty Xiong, Daniel Zhang, Percy Liang

分类: cs.LG, cs.AI

发布日期: 2023-10-19

备注: Authored by the Center for Research on Foundation Models (CRFM) at the Stanford Institute for Human-Centered Artificial Intelligence (HAI). Project page: https://crfm.stanford.edu/fmti

💡 一句话要点

提出基础模型透明度指数以提升透明性和问责性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 基础模型 透明度 评估指标 社会影响 治理 生成式AI 行业标准

📋 核心要点

  1. 核心问题：基础模型的透明度下降，缺乏对其社会影响的有效披露，影响公众问责和治理。
  2. 方法要点：提出基础模型透明度指数，通过100个指标全面评估基础模型的透明度，涵盖从数据到使用政策的各个方面。
  3. 实验或效果：对10个主要开发者进行透明度评分，发现普遍缺乏下游影响信息的披露，推动行业标准和监管干预。

📝 摘要（中文）

基础模型迅速渗透社会，催生了一波生成式AI应用，然而透明度却在下降，影响了公众问责、科学创新和有效治理。为评估基础模型生态系统的透明度并推动其改善，本文提出了基础模型透明度指数，定义了100个细致的指标，涵盖构建基础模型的上游资源、模型本身的细节以及下游使用情况。对10个主要基础模型开发者进行评分，发现当前没有开发者披露其旗舰模型的下游影响信息。该指数为基础模型治理提供了标准化的评估框架。

🔬 方法详解

问题定义：本文旨在解决基础模型透明度不足的问题，现有方法未能有效披露模型的社会影响和使用情况，导致公众对其信任度下降。

核心思路：提出基础模型透明度指数，通过100个细致指标来评估和提升基础模型的透明度，确保信息的全面性和可比性。

技术框架：该框架包括三个主要模块：上游资源评估（数据、劳动力、计算资源）、模型特性分析（模型规模、能力、风险）和下游使用情况评估（分发渠道、使用政策、影响地区）。

关键创新：基础模型透明度指数的最大创新在于其细致的指标体系，能够全面反映基础模型的透明度，与以往的评估方法相比，更加系统和标准化。

关键设计：在指标设计上，涵盖了100个具体指标，确保对每个开发者的旗舰模型（如OpenAI的GPT-4、Google的PaLM 2等）进行全面评估，强调了下游影响信息的缺失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，10个主要基础模型开发者在透明度指数评估中普遍缺乏对下游影响的披露，尤其是在用户数量、受影响市场和用户救济途径等方面，揭示了当前透明度的严重不足，为未来的行业标准和监管提供了重要依据。

🎯 应用场景

该研究的潜在应用领域包括AI模型的开发与监管、政策制定、以及公众教育等。通过提升透明度，能够增强公众对基础模型的信任，促进科学创新和有效治理，最终推动AI技术的可持续发展。

📄 摘要（原文）

Foundation models have rapidly permeated society, catalyzing a wave of generative AI applications spanning enterprise and consumer-facing contexts. While the societal impact of foundation models is growing, transparency is on the decline, mirroring the opacity that has plagued past digital technologies (e.g. social media). Reversing this trend is essential: transparency is a vital precondition for public accountability, scientific innovation, and effective governance. To assess the transparency of the foundation model ecosystem and help improve transparency over time, we introduce the Foundation Model Transparency Index. The Foundation Model Transparency Index specifies 100 fine-grained indicators that comprehensively codify transparency for foundation models, spanning the upstream resources used to build a foundation model (e.g data, labor, compute), details about the model itself (e.g. size, capabilities, risks), and the downstream use (e.g. distribution channels, usage policies, affected geographies). We score 10 major foundation model developers (e.g. OpenAI, Google, Meta) against the 100 indicators to assess their transparency. To facilitate and standardize assessment, we score developers in relation to their practices for their flagship foundation model (e.g. GPT-4 for OpenAI, PaLM 2 for Google, Llama 2 for Meta). We present 10 top-level findings about the foundation model ecosystem: for example, no developer currently discloses significant information about the downstream impact of its flagship model, such as the number of users, affected market sectors, or how users can seek redress for harm. Overall, the Foundation Model Transparency Index establishes the level of transparency today to drive progress on foundation model governance via industry standards and regulatory intervention.