VERA: A Responsible AI Dashboard for Assessing LLM Deployments in Light of the EU AI Act

📄 arXiv: 2610.31588v1 📥 PDF

作者: Robin Quériaux, Solveig Bachellery, Léa Déléris, Saurabhsingh Rajput, Mariam Barry, Tushar Sharma, Jérôme Lebecq

分类: cs.SE, cs.AI, cs.CY

发布日期: 2026-10-22

备注: Accepted at the 33rd Asia-Pacific Software Engineering Conference (APSEC 2026), Software Engineering in Practice track, Bali, Indonesia, 7-10 December 2026. 11 pages, 3 figures

💡 一句话要点

提出VERA以促进大型语言模型的负责任AI评估

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 负责任AI 大型语言模型 评估仪表板 欧盟AI法案 基准测试 能耗记录 用户友好界面

📋 核心要点

  1. 现有方法主要依赖命令行操作，非工程背景的审核人员难以理解和使用，导致评估效率低下。
  2. VERA仪表板通过可视化界面简化了负责任AI评估流程，使审核人员能够轻松选择模型并运行基准测试。
  3. 实验结果显示，使用VERA仪表板进行评估的时间显著减少，用户对其有较高的满意度，得分为4.36（满分5分）。

📝 摘要（中文）

在受监管环境中部署大型语言模型的机构通常需要技术证据以证明其负责任的AI实践。COMPL-AI提供了对欧盟AI法案的技术解读，将证据组织为六个原则组和十八个技术要求，其中十二个可以通过当前基准进行测量。VERA是一个开源自托管的仪表板，旨在简化大型欧洲银行的负责任AI流程。评审人员选择模型并运行公共基准，VERA对可测量的十二个要求进行评分，并记录每次评估的能耗，提供环境影响的证据。研究表明，使用VERA仪表板进行评估的时间从56秒减少到30秒，仪表板在组织内的调查中得分为4.36（满分5分）。

🔬 方法详解

问题定义：论文要解决的问题是如何在大型语言模型的部署中提供负责任AI的评估工具。现有方法主要依赖命令行操作，非工程背景的审核人员难以理解和使用，导致评估效率低下。

核心思路：论文提出VERA仪表板，通过可视化界面简化负责任AI评估流程，使审核人员能够轻松选择模型并运行基准测试，从而提高评估的效率和准确性。

技术框架：VERA的整体架构包括模型选择、基准测试运行、结果评分和能耗记录四个主要模块。审核人员通过仪表板选择模型，运行相应的基准测试，系统自动生成评分和能耗数据。

关键创新：VERA的最重要创新在于其用户友好的界面和自动化的评估流程，使得非技术人员也能有效参与负责任AI的评估。这与传统的命令行操作方法形成了鲜明对比。

关键设计：VERA仪表板设计了多个参数设置，以确保基准测试的准确性和可重复性。同时，系统记录每次评估的能耗，提供环境影响的量化数据，增强了评估的全面性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用VERA仪表板进行负责任AI评估的时间从56秒减少到30秒，效率提升了46%。在组织内的用户调查中，VERA的实用性得分为4.36（满分5分），表明其在实际应用中的高效性和用户满意度。

🎯 应用场景

VERA仪表板的潜在应用领域包括金融、医疗和教育等受监管行业，能够帮助机构在部署大型语言模型时确保符合负责任AI的标准。其实际价值在于提高评估效率，降低审核人员的技术门槛，促进AI技术的安全和可持续发展。

📄 摘要（原文）

Institutions that deploy large language models in regulated settings often need technical evidence of responsible AI practices before approving a deployment. COMPL-AI provides a technical interpretation of the EU AI Act that organises this evidence under six principle groups and eighteen technical requirements, twelve of which current benchmarks can measure. The benchmark suites that produce this evidence are typically operated from a command line, while the staff who approve deployments are non-engineers. We present VERA, an open-source self-hosted dashboard deployed to facilitate responsible AI processes within a large European bank. A reviewer selects a model and runs public benchmarks against it. VERA scores the twelve requirements that current benchmarks can measure and instruments the energy consumed by each evaluation, adding run-level evidence for environmental impact. We run four served open-weight models through the requirement pipeline, and the dashboard displays a score for each measurable requirement. A within-subject study then compares how participants read these benchmark results: from the raw output files in one condition, and through the VERA dashboard in the other. The dashboard reduced the time needed to perform the responsible AI assessment, reducing the time required from 56 seconds using raw files to 30 seconds using our dashboard, on average. Our dashboard scored highly (4.36 out of 5) on usefulness in the survey conducted within the organization. The dashboard and the study material are released publicly to promote replicability and reproducibility in different organisational contexts.