An Open Pipeline and Dashboard for Systemic-Risk Evidence under the EU AI Act's Code of Practice
作者: Jacob T. Emmerson, Phuong-Anh Nguyen-Le, Ronan Romano, Wilber Sean V. Anterola, Yann Billeter, Zhijing Jin
分类: cs.AI
发布日期: 2026-09-23
备注: 6 pages, 5 figures, submitted to EACL 2027 Systems Demonstration track
💡 一句话要点
提出系统风险指数以提升AI安全评估透明度
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: AI安全 系统风险 透明评估 开放管道 风险聚合 交互式仪表板 公共基准
📋 核心要点
- 现有的AI安全评估方法往往依赖不透明的证据，缺乏动态和可追溯的评估机制。
- 本文提出了系统风险指数，构建了一个开放的评估管道和仪表板，提升了模型评估的透明度和可理解性。
- 实验结果显示，在最坏情况聚合下，模型得分下降14至37分，表明平均评估可能掩盖潜在风险。
📝 摘要（中文）
关于AI安全的主张已超出AI社区的范围，但许多主张依赖于不透明的证据或静态评估，甚至在证据可用时也不够充分。本文提出了系统风险指数，这是一个开放的评估管道和仪表板，旨在使实证证据更加透明并可追溯。我们将19个公共基准组织为四个由欧盟GPAI行为准则定义的系统风险类别，并使用保持危害的扰动和模拟部署上下文来评估模型。交互式仪表板允许用户在平均和最坏情况聚合之间切换，变化模型能力如何影响聚合得分，并追溯每个风险评级到其基准证据。通过对18个模型的评估，最坏情况聚合下得分下降14到37分，突显了平均评估可能隐藏的信息。
🔬 方法详解
问题定义：本文旨在解决AI安全评估中存在的透明度不足和证据不充分的问题。现有方法往往依赖静态评估，缺乏动态和可追溯的证据支持。
核心思路：提出系统风险指数，通过开放的评估管道和交互式仪表板，使得模型评估的过程和结果更加透明，便于公众理解和追踪。
技术框架：整体架构包括数据收集、模型评估、风险分类和结果展示四个主要模块。通过对19个公共基准的组织和评估，形成系统风险的四个类别。
关键创新：最重要的创新在于将模型评估与动态风险聚合结合，允许用户在不同情境下查看模型的表现，提供更全面的风险视角。
关键设计：在评估过程中，采用保持危害的扰动方法，并设计了交互式仪表板，用户可以根据不同的模型能力调整聚合得分，确保评估结果的可追溯性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在最坏情况聚合下，18个模型的得分下降了14到37分，表明平均评估可能掩盖重要风险。此外，LLM评估者与人类评分者之间的协议度高达0.78至0.82，显示出良好的评估一致性。
🎯 应用场景
该研究的潜在应用领域包括AI模型的安全评估、政策制定和公众信息透明化。通过提供可追溯的风险评估，能够帮助决策者和公众更好地理解AI技术的潜在风险，从而推动更安全的AI应用和监管政策的制定。
📄 摘要（原文）
Claims about AI safety reach audiences well beyond the AI community, yet many rely on opaque evidence or static assessments, when supporting evidence is accessible at all. We present the Systemic Risk Index, an open evaluation pipeline and dashboard built to make empirical evidence more transparent and traceable to the public. Our work organizes 19 public benchmarks into four systemic-risk categories defined by the EU GPAI Code of Practice---CBRN, cyber offense, harmful manipulation, and loss of control---and evaluates models using harm-preserving perturbations and simulated deployment contexts. The interactive dashboard lets users alternate between average and worst-case aggregation, vary how model capability affects the aggregate score, and trace each risk rating to its benchmark evidence. Across 18 models, scores fall by 14 to 37 points under worst-case aggregation, highlighting information that can be hidden by an average assessment of model risk. LLM judges show agreement with human graders comparable to human--human agreement ($κ= 0.78\text{--}0.82$), and a blind audit finds that $83\%$ of sampled transformations preserve the original harm. In a survey ($N = 21$), most participants report that scores are easy to understand and that the dashboard encouraged them to view model evaluations under different settings