COMPL-AI Framework: A Technical Interpretation and LLM Benchmarking Suite for the EU Artificial Intelligence Act

📄 arXiv: 2410.07959v2 📥 PDF

作者: Philipp Guldimann, Alexander Spiridonov, Robin Staab, Nikola Jovanović, Mark Vero, Velko Vechev, Anna-Maria Gueorguieva, Mislav Balunović, Nikola Konstantinov, Pavol Bielik, Petar Tsankov, Martin Vechev

分类: cs.CL, cs.AI, cs.CY, cs.LG

发布日期: 2024-10-10 (更新: 2025-02-03)

💡 一句话要点

COMPL-AI框架：欧盟AI法案的技术解读与LLM基准测试套件

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 欧盟AI法案 大型语言模型 合规性评估 基准测试 鲁棒性 安全性 公平性

📋 核心要点

  1. 现有大型语言模型（LLM）的评估缺乏与欧盟AI法案的明确对齐，难以衡量其合规性。
  2. COMPL-AI框架通过技术解读AI法案，并构建相应的基准测试套件，弥合了监管要求与技术实现之间的差距。
  3. 实验结果表明，现有LLM在鲁棒性、安全性、多样性和公平性等方面存在不足，需要进一步改进。

📝 摘要（中文）

欧盟的《人工智能法案》（AI法案）是迈向负责任的AI开发的重要一步，但缺乏明确的技术解释，难以评估模型的合规性。本研究提出了COMPL-AI，一个综合框架，包括：（i）对欧盟AI法案的首次技术解释，将广泛的监管要求转化为可衡量的技术要求，重点关注大型语言模型（LLM）；（ii）一个开源的、以法案为中心的基准测试套件，基于对最先进LLM基准的全面调研和实施。通过在COMPL-AI的背景下评估12个著名的LLM，我们揭示了现有模型和基准的缺点，尤其是在鲁棒性、安全性、多样性和公平性等领域。这项工作强调需要将重点转移到这些方面，鼓励LLM的平衡发展和更全面的、与法规对齐的基准。同时，COMPL-AI首次展示了将法案的义务提升到更具体、技术层面的可能性和困难。因此，我们的工作可以作为为模型提供商提供可操作建议的有用第一步，并有助于欧盟正在进行的使法案得以实施的工作，例如起草GPAI行为准则。

🔬 方法详解

问题定义：论文旨在解决欧盟AI法案缺乏明确技术解释的问题，使得评估LLM是否符合法规要求变得困难。现有方法主要集中在通用性能评估，而忽略了与AI法案相关的特定维度，如鲁棒性、安全性、多样性和公平性。

核心思路：论文的核心思路是将欧盟AI法案中的宽泛监管要求转化为可衡量的技术指标，并基于这些指标构建相应的基准测试。通过对LLM进行针对性的评估，可以识别其在合规性方面的不足，并为模型改进提供指导。

技术框架：COMPL-AI框架包含两个主要组成部分：(1) 欧盟AI法案的技术解读模块，负责将法规要求转化为技术指标；(2) 开源的基准测试套件，用于评估LLM在这些指标上的表现。该套件基于对现有LLM基准的调研和实现，并针对AI法案的要求进行了扩展和改进。

关键创新：该论文最重要的创新在于首次尝试将欧盟AI法案的技术要求具体化，并构建了相应的评估框架。这使得LLM的合规性评估成为可能，并为模型开发者提供了明确的改进方向。与现有方法相比，COMPL-AI更加关注与法规相关的特定维度，能够更全面地评估LLM的潜在风险。

关键设计：技术解读模块的关键设计在于如何将法规中的抽象概念转化为可量化的指标。例如，对于“鲁棒性”的要求，可以定义为模型在面对对抗性攻击或输入扰动时的性能下降程度。基准测试套件的关键设计在于选择合适的评估任务和指标，以全面覆盖AI法案的要求。此外，还需要考虑如何平衡不同指标之间的权重，以避免过度强调某些方面而忽略其他方面。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

通过COMPL-AI框架对12个主流LLM进行评估，结果表明现有模型在鲁棒性、安全性、多样性和公平性等方面存在显著不足。例如，某些模型在面对对抗性攻击时性能下降明显，或者在生成文本时存在偏见。这些结果强调了现有LLM在合规性方面面临的挑战，并为未来的研究和开发提供了明确的方向。

🎯 应用场景

COMPL-AI框架可应用于LLM的合规性评估、模型改进和风险管理。它可以帮助模型开发者识别潜在的法规风险，并采取相应的措施进行改进。此外，该框架还可以为监管机构提供技术支持，帮助他们更好地理解和实施AI法案。未来，COMPL-AI可以扩展到其他类型的AI模型，并与其他法规进行整合，形成一个更全面的AI治理框架。

📄 摘要（原文）

The EU's Artificial Intelligence Act (AI Act) is a significant step towards responsible AI development, but lacks clear technical interpretation, making it difficult to assess models' compliance. This work presents COMPL-AI, a comprehensive framework consisting of (i) the first technical interpretation of the EU AI Act, translating its broad regulatory requirements into measurable technical requirements, with the focus on large language models (LLMs), and (ii) an open-source Act-centered benchmarking suite, based on thorough surveying and implementation of state-of-the-art LLM benchmarks. By evaluating 12 prominent LLMs in the context of COMPL-AI, we reveal shortcomings in existing models and benchmarks, particularly in areas like robustness, safety, diversity, and fairness. This work highlights the need for a shift in focus towards these aspects, encouraging balanced development of LLMs and more comprehensive regulation-aligned benchmarks. Simultaneously, COMPL-AI for the first time demonstrates the possibilities and difficulties of bringing the Act's obligations to a more concrete, technical level. As such, our work can serve as a useful first step towards having actionable recommendations for model providers, and contributes to ongoing efforts of the EU to enable application of the Act, such as the drafting of the GPAI Code of Practice.