Mapping AI Benchmark Data to Quantitative Risk Estimates Through Expert Elicitation

📄 arXiv: 2503.04299v2 📥 PDF

作者: Malcolm Murray, Henry Papadatos, Otter Quarks, Pierre-François Gimenez, Simeon Campos

分类: cs.AI

发布日期: 2025-03-06 (更新: 2025-03-10)

备注: 23 pages, 4 figures

💡 一句话要点

通过专家评估将AI基准数据映射到定量风险估计

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: AI风险评估 专家评估 大型语言模型 风险量化 AI基准测试

📋 核心要点

  1. 现有AI风险评估侧重于模型能力测量，缺乏与实际危害的直接关联，难以量化风险。
  2. 该研究通过专家评估，将AI基准数据（Cybench）与风险概率估计联系起来，弥合能力与危害之间的差距。
  3. 试点研究表明，该方法在定量AI风险评估中具有潜力，并提出了未来改进方向。

📝 摘要（中文）

大量文献和专家指出大型语言模型（LLMs）存在诸多潜在风险，但对于实际危害的直接测量仍然非常有限。目前，AI风险评估主要集中于测量模型的能力，然而模型能力仅是风险的指标，而非风险的度量。更好地建模和量化AI风险场景有助于弥合这种差距，并将LLM的能力与实际危害联系起来。本文通过展示如何利用现有AI基准来促进风险估计的生成，为该领域做出初步贡献。我们描述了一项试点研究的结果，其中专家使用来自AI基准Cybench的信息来生成概率估计。结果表明，该方法对于此目的具有前景，同时也指出了可以改进之处，以进一步加强其在定量AI风险评估中的应用。

🔬 方法详解

问题定义：当前AI风险评估主要依赖于模型能力的测量，而模型能力仅仅是风险的指标，并非风险的直接度量。因此，如何将模型能力与实际危害关联起来，进行更准确的定量风险评估，是亟待解决的问题。现有方法缺乏有效的桥梁，难以将模型在基准测试中的表现转化为对真实世界风险的估计。

核心思路：本研究的核心思路是通过专家评估（expert elicitation），利用专家对AI系统能力和潜在风险的理解，将AI基准测试数据（如Cybench）映射到具体的风险概率估计。这种方法旨在弥合模型能力与实际危害之间的鸿沟，从而实现更准确的定量风险评估。

技术框架：该研究采用专家评估的方法，其流程大致如下：1) 选择合适的AI基准测试（如Cybench）；2) 邀请相关领域的专家参与评估；3) 向专家提供基准测试的结果和相关信息；4) 专家基于这些信息，对特定风险事件发生的概率进行估计；5) 对专家的估计结果进行汇总和分析，得到最终的风险估计。

关键创新：该研究的关键创新在于将专家评估与AI基准测试相结合，从而将模型能力转化为风险概率估计。与传统的仅关注模型能力评估的方法相比，该方法更注重风险的量化和评估，能够为AI风险管理提供更有效的支持。

关键设计：研究中，专家评估的具体流程和方法是关键设计。例如，如何向专家提供清晰、准确的基准测试信息，如何引导专家进行客观、合理的风险估计，以及如何对专家的估计结果进行有效的汇总和分析，都是需要仔细考虑的问题。此外，选择合适的专家也是至关重要的，需要确保专家具有相关的专业知识和经验。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究通过试点研究，验证了专家评估方法在将AI基准数据映射到风险估计方面的可行性。专家能够利用Cybench等基准测试的信息，生成有意义的风险概率估计。研究结果表明，该方法具有潜力，但仍需进一步改进，例如优化专家评估流程、提高专家评估的准确性和一致性等。

🎯 应用场景

该研究成果可应用于AI安全治理、风险管理和政策制定等领域。通过量化AI系统的潜在风险，可以帮助决策者更好地了解AI技术可能带来的负面影响，从而制定更有效的监管措施和安全协议。此外，该方法还可以用于评估不同AI系统的风险水平，为资源分配和风险缓解提供依据。

📄 摘要（原文）

The literature and multiple experts point to many potential risks from large language models (LLMs), but there are still very few direct measurements of the actual harms posed. AI risk assessment has so far focused on measuring the models' capabilities, but the capabilities of models are only indicators of risk, not measures of risk. Better modeling and quantification of AI risk scenarios can help bridge this disconnect and link the capabilities of LLMs to tangible real-world harm. This paper makes an early contribution to this field by demonstrating how existing AI benchmarks can be used to facilitate the creation of risk estimates. We describe the results of a pilot study in which experts use information from Cybench, an AI benchmark, to generate probability estimates. We show that the methodology seems promising for this purpose, while noting improvements that can be made to further strengthen its application in quantitative AI risk assessment.