AI Transparency Atlas: Framework, Scoring, and Real-Time Model Card Evaluation Pipeline

📄 arXiv: 2512.12443v1 📥 PDF

作者: Akhmadillo Mamirov, Faiaz Azmain, Hanyu Wang

分类: cs.AI, cs.SE

发布日期: 2025-12-13

💡 一句话要点

提出AI透明度评估框架与自动化流水线，解决模型文档碎片化问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: AI透明度 模型评估 自动化流水线 大型语言模型 安全风险 文档分析 欧盟AI法案 模型卡

📋 核心要点

  1. 现有AI模型文档分散且结构不统一，难以评估模型的安全性、数据来源和版本变更。
  2. 提出一个加权透明度框架，包含安全评估和关键风险等重要部分，并构建自动化评估流水线。
  3. 实验表明，前沿实验室模型合规性较高，但安全关键类别仍存在明显缺陷，如欺骗行为和幻觉。

📝 摘要（中文）

人工智能模型文档在不同平台之间呈现碎片化和结构不一致的现象，这阻碍了政策制定者、审计人员和用户可靠地评估模型的安全性声明、数据来源和版本级别的变更。本文分析了五个前沿模型（Gemini 3、Grok 4.1、Llama 4、GPT-5和Claude 4.5）以及100个Hugging Face模型卡的文档，识别出947个独特的章节名称，命名方式差异极大。仅使用信息就出现了97个不同的标签。基于欧盟人工智能法案附件IV和斯坦福透明度指数，我们开发了一个加权透明度框架，包含8个部分和23个小节，优先考虑安全关键披露（安全评估：25%，关键风险：20%），而非技术规范。我们实现了一个自动化的多智能体流水线，从公共来源提取文档，并通过基于LLM的共识来评估完整性。评估50个视觉、多模态、开源和闭源模型总成本低于3美元，并揭示了系统性差距。前沿实验室（xAI、Microsoft、Anthropic）的合规率约为80%，而大多数提供商的合规率低于60%。安全关键类别显示出最大的缺陷：欺骗行为、幻觉和儿童安全评估分别损失了148、124和116个总分。

🔬 方法详解

问题定义：当前人工智能模型文档散落在不同平台，缺乏统一的结构和标准，导致难以有效评估模型的安全性、数据来源以及版本更新情况。现有方法无法提供全面、一致且易于理解的透明度评估，阻碍了监管、审计和用户对AI系统的信任。

核心思路：本文的核心思路是构建一个统一的、可量化的AI透明度评估框架，并利用自动化流水线高效地评估各种模型的透明度水平。通过定义清晰的评估指标和利用LLM进行文档解析和评分，实现对模型透明度的客观评估。

技术框架：该研究的技术框架包含以下几个主要模块：1) 文档收集模块：从公共资源（如模型卡、官方文档等）收集模型相关文档。2) 文档解析模块：利用LLM对收集到的文档进行解析，提取关键信息。3) 透明度评分模块：根据预定义的透明度框架，对提取的信息进行评分，生成透明度报告。4) 结果汇总与分析模块：对多个模型的透明度评分进行汇总和分析，发现普遍存在的透明度差距。

关键创新：该研究的关键创新在于：1) 构建了加权透明度框架，该框架基于欧盟AI法案和斯坦福透明度指数，并根据安全关键程度对不同指标进行加权。2) 实现了自动化评估流水线，利用LLM进行文档解析和评分，大大提高了评估效率和可扩展性。3) 揭示了现有模型的透明度差距，尤其是在安全关键领域，为改进模型文档和提高透明度提供了依据。

关键设计：透明度框架包含8个部分和23个小节，其中安全评估占比25%，关键风险占比20%，体现了对安全关键信息的重视。自动化流水线使用LLM进行文档解析，通过多智能体共识提高评分的准确性。评估过程中，对欺骗行为、幻觉和儿童安全评估等关键指标进行了重点关注。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，前沿实验室（xAI、Microsoft、Anthropic）的合规率约为80%，而大多数提供商的合规率低于60%。在安全关键类别中，欺骗行为、幻觉和儿童安全评估分别损失了148、124和116个总分，表明这些领域的透明度亟待提高。评估50个模型的总成本低于3美元，验证了自动化流水线的效率。

🎯 应用场景

该研究成果可应用于AI模型监管、审计和风险评估。政府机构和企业可以使用该框架和流水线来评估AI系统的透明度，确保其符合法规要求和伦理标准。开发者可以利用评估结果改进模型文档，提高模型的透明度和可信度。最终用户可以更好地了解AI系统的能力和局限性，从而做出更明智的决策。

📄 摘要（原文）

AI model documentation is fragmented across platforms and inconsistent in structure, preventing policymakers, auditors, and users from reliably assessing safety claims, data provenance, and version-level changes. We analyzed documentation from five frontier models (Gemini 3, Grok 4.1, Llama 4, GPT-5, and Claude 4.5) and 100 Hugging Face model cards, identifying 947 unique section names with extreme naming variation. Usage information alone appeared under 97 distinct labels. Using the EU AI Act Annex IV and the Stanford Transparency Index as baselines, we developed a weighted transparency framework with 8 sections and 23 subsections that prioritizes safety-critical disclosures (Safety Evaluation: 25%, Critical Risk: 20%) over technical specifications. We implemented an automated multi-agent pipeline that extracts documentation from public sources and scores completeness through LLM-based consensus. Evaluating 50 models across vision, multimodal, open-source, and closed-source systems cost less than $3 in total and revealed systematic gaps. Frontier labs (xAI, Microsoft, Anthropic) achieve approximately 80% compliance, while most providers fall below 60%. Safety-critical categories show the largest deficits: deception behaviors, hallucinations, and child safety evaluations account for 148, 124, and 116 aggregate points lost, respectively, across all evaluated models.