The AI Model Risk Catalog: What Developers and Researchers Miss About Real-World AI Harms

📄 arXiv: 2508.16672v1 📥 PDF

作者: Pooja S. B. Rao, Sanja Šćepanović, Dinesh Babu Jayagopi, Mauro Cherubini, Daniele Quercia

分类: cs.CY, cs.AI

发布日期: 2025-08-21

备注: Accepted to AIES 2025

💡 一句话要点

构建AI模型风险目录，揭示开发者与研究者对AI危害认知的差异

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: AI风险评估 模型卡 人机交互 社会影响 风险目录 AI治理 系统性风险

📋 核心要点

  1. 现有AI风险评估主要关注技术层面，忽略了人机交互和社会系统层面的潜在危害。
  2. 本文构建AI模型风险目录，对比开发者、研究者和真实事件中的风险认知差异。
  3. 结果表明，开发者需加强对人机交互和社会系统风险的关注，提升AI风险评估的全面性。

📝 摘要（中文）

本文分析了Hugging Face上近46万个AI模型卡，提取了约3000个独特的风险提及，并构建了“AI模型风险目录”。通过对比该目录与MIT风险库中研究人员识别的风险以及AI事件数据库中的真实事件，发现开发者侧重于偏差和安全性等技术问题，而研究人员则强调更广泛的社会影响。两组人都较少关注欺诈和操纵，这些是人与AI交互时常见的危害。研究结果表明，需要更清晰、结构化的风险报告，以帮助开发者在设计过程早期考虑人机交互和系统性风险。该目录和论文附录可在https://social-dynamics.net/ai-risks/catalog 获取。

🔬 方法详解

问题定义：当前AI模型风险评估存在局限性，开发者往往更关注模型本身的偏差、安全等技术问题，而忽略了模型部署后在真实世界中与人交互可能产生的欺诈、操纵等风险，以及更广泛的社会影响。现有方法缺乏对这些系统性风险的有效识别和评估。

核心思路：本文的核心思路是通过大规模分析AI模型卡、风险知识库和真实事件数据库，对比不同来源的风险认知差异，从而揭示现有风险评估的盲点。通过构建AI模型风险目录，为开发者提供更全面的风险参考，促进更负责任的AI开发。

技术框架：本文的研究框架主要包含以下几个阶段：1) 数据收集：从Hugging Face收集近46万个AI模型卡，并提取其中的风险提及。2) 风险整理：对提取的风险提及进行去重和分类，构建AI模型风险目录。3) 对比分析：将AI模型风险目录与MIT风险库和AI事件数据库中的风险进行对比分析，识别不同来源的风险认知差异。4) 结果呈现：以AI模型风险目录的形式呈现研究结果，并提供在线访问。

关键创新：本文的关键创新在于：1) 构建了一个大规模的AI模型风险目录，为开发者提供了一个全面的风险参考。2) 通过对比不同来源的风险认知差异，揭示了现有风险评估的盲点，强调了人机交互和社会系统风险的重要性。3) 提出了需要更清晰、结构化的风险报告的建议，以帮助开发者在设计过程早期考虑这些风险。

关键设计：本文的关键设计在于风险目录的构建和风险对比分析的方法。风险目录的构建采用了文本挖掘和自然语言处理技术，从大量的模型卡中提取风险信息。风险对比分析采用了定性和定量相结合的方法，分析不同来源的风险提及频率和类型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究结果表明，开发者在风险报告中更关注技术问题，而忽略了人机交互和社会系统风险。AI模型风险目录的构建为开发者提供了一个全面的风险参考，有助于提升AI风险评估的全面性。该目录已公开，可供研究人员和开发者使用。

🎯 应用场景

该研究成果可应用于AI模型的风险评估和治理，帮助开发者更全面地识别和评估AI模型的潜在风险，从而开发出更安全、可靠和负责任的AI系统。同时，该研究也为政策制定者提供了参考，有助于制定更有效的AI监管政策。

📄 摘要（原文）

We analyzed nearly 460,000 AI model cards from Hugging Face to examine how developers report risks. From these, we extracted around 3,000 unique risk mentions and built the \emph{AI Model Risk Catalog}. We compared these with risks identified by researchers in the MIT Risk Repository and with real-world incidents from the AI Incident Database. Developers focused on technical issues like bias and safety, while researchers emphasized broader social impacts. Both groups paid little attention to fraud and manipulation, which are common harms arising from how people interact with AI. Our findings show the need for clearer, structured risk reporting that helps developers think about human-interaction and systemic risks early in the design process. The catalog and paper appendix are available at: https://social-dynamics.net/ai-risks/catalog.