The 2024 Foundation Model Transparency Index
作者: Rishi Bommasani, Kevin Klyman, Sayash Kapoor, Shayne Longpre, Betty Xiong, Nestor Maslej, Percy Liang
分类: cs.LG, cs.AI, cs.CY
发布日期: 2024-07-17 (更新: 2025-03-04)
备注: Published in TMLR 2025. Project page: https://crfm.stanford.edu/fmti
💡 一句话要点
基金模型透明度指数评估：揭示行业透明度提升与持续不透明领域
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 基金模型 透明度 评估指标 人工智能伦理 数据治理
📋 核心要点
- 现有基金模型透明度低，难以评估其潜在风险和影响。
- 通过基金模型透明度指数（FMTI），评估开发者在多个透明度指标上的表现。
- FMTI 2024显示开发者透明度显著提升，但版权、数据劳工等领域仍不透明。
📝 摘要（中文）
基金模型日益重要，但其透明度极低。为了描述现状，2023年10月启动了基金模型透明度指数（FMTI），旨在衡量主要基金模型开发者的透明度。FMTI 2023评估了10家主要基金模型开发者（如OpenAI、Google）的100项透明度指标（如开发者是否披露数据劳动力的工资）。当时，开发者公开披露的信息非常有限，平均得分为37/100。为了解现状的变化，我们在6个月后进行了后续研究：我们根据相同的100项指标对14家开发者进行了评分。与FMTI 2023中搜索公开可用信息不同，在FMTI 2024中，开发者提交了关于100项透明度指标的报告，可能包括以前未公开的信息。我们发现，开发者现在的平均得分为58/100，比FMTI 2023提高了21分。这种增长很大程度上是由于开发者在FMTI 2024过程中披露信息所致：平均而言，开发者披露了与16.6项指标相关的信息，这些信息以前未公开。我们观察到持续（即2023年和2024年）和系统性（即跨大多数或所有开发者）的不透明区域，例如版权状态、数据访问、数据劳工和下游影响。我们发布了每个开发者的透明度报告，其中整合了信息披露：这些报告基于开发者向我们披露的信息。我们的研究结果表明，可以在这个新兴生态系统中提高透明度，基金模型透明度指数可能有助于这些改进，政策制定者应考虑在透明度未提高的领域进行干预。
🔬 方法详解
问题定义：论文旨在解决基金模型领域透明度不足的问题。现有方法缺乏统一的评估标准，难以衡量不同开发者的透明度水平，导致对模型潜在风险和伦理问题的认知不足。开发者缺乏披露信息的动力，使得用户和监管机构难以有效监督。
核心思路：论文的核心思路是通过建立一套全面的透明度指标体系，并定期评估主要基金模型开发者的表现，从而推动行业提高透明度。通过公开评估结果，激励开发者披露更多信息，并为政策制定者提供参考依据。
技术框架：FMTI 的整体框架包括以下几个阶段：1) 定义透明度指标：选择100个涵盖数据、模型、使用和治理等方面的指标。2) 数据收集：2023年通过搜索公开信息，2024年通过开发者提交报告的方式收集数据。3) 指标评估：根据收集到的数据，对每个开发者在每个指标上进行评分。4) 结果发布：发布每个开发者的透明度报告，并分析整体趋势。
关键创新：该研究的关键创新在于构建了一个全面的、可量化的基金模型透明度评估体系。与以往零散的透明度研究不同，FMTI 提供了一个统一的框架，可以系统地评估不同开发者的透明度水平，并跟踪行业的发展趋势。此外，FMTI 通过公开评估结果，有效地激励了开发者提高透明度。
关键设计：FMTI 的关键设计包括：1) 指标选择：选择的100个指标涵盖了基金模型开发的各个方面，力求全面反映透明度水平。2) 评估方法：采用统一的评分标准，确保评估结果的客观性和可比性。3) 数据收集方式：从公开信息搜索到开发者主动提交报告，体现了评估方式的演进和透明度的提升。
🖼️ 关键图片
📊 实验亮点
FMTI 2024 显示，开发者平均得分从 2023 年的 37/100 提升至 58/100，提升了 21 分。开发者平均披露了 16.6 项之前未公开的信息。这表明 FMTI 有效地推动了基金模型领域的透明度提升。然而，版权状态、数据访问、数据劳工等领域的透明度仍然较低，需要进一步关注。
🎯 应用场景
该研究成果可应用于基金模型风险评估、伦理审查和监管政策制定。通过了解模型的透明度水平，用户和监管机构可以更好地评估其潜在风险，并采取相应的措施。该研究还有助于推动基金模型领域的负责任发展，促进公平、透明和可信赖的人工智能应用。
📄 摘要（原文）
Foundation models are increasingly consequential yet extremely opaque. To characterize the status quo, the Foundation Model Transparency Index (FMTI) was launched in October 2023 to measure the transparency of leading foundation model developers. FMTI 2023 assessed 10 major foundation model developers (e.g. OpenAI, Google) on 100 transparency indicators (e.g. does the developer disclose the wages it pays for data labor?). At the time, developers publicly disclosed very limited information with the average score being 37 out of 100. To understand how the status quo has changed, we conduct a follow-up study after 6 months: we score 14 developers against the same 100 indicators. While in FMTI 2023 we searched for publicly available information, in FMTI 2024 developers submit reports on the 100 transparency indicators, potentially including information that was not previously public. We find that developers now score 58 out of 100 on average, a 21 point improvement over FMTI 2023. Much of this increase is driven by developers disclosing information during the FMTI 2024 process: on average, developers disclosed information related to 16.6 indicators that was not previously public. We observe regions of sustained (i.e. across 2023 and 2024) and systemic (i.e. across most or all developers) opacity such as on copyright status, data access, data labor, and downstream impact. We publish transparency reports for each developer that consolidate information disclosures: these reports are based on the information disclosed to us via developers. Our findings demonstrate that transparency can be improved in this nascent ecosystem, the Foundation Model Transparency Index likely contributes to these improvements, and policymakers should consider interventions in areas where transparency has not improved.