"I see models being a whole other thing": An Empirical Study of Pre-Trained Model Naming Conventions and A Tool for Enhancing Naming Consistency

📄 arXiv: 2310.01642v3 📥 PDF

作者: Wenxin Jiang, Mingyu Kim, Chingwo Cheung, Heesoo Kim, George K. Thiruvathukal, James C. Davis

分类: cs.SE, cs.AI

发布日期: 2023-10-02 (更新: 2025-08-18)

备注: Published at EMSE'25

期刊: Empirical Software Engineering 30, 155 (2025)

DOI: 10.1007/s10664-025-10711-4

💡 一句话要点

提出DARA工具以解决预训练模型命名不一致问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 预训练模型 命名一致性 深度学习 自动化工具 模型重用 Hugging Face DNN架构评估

📋 核心要点

  1. 现有的预训练模型命名实践缺乏系统研究，导致命名不一致，影响模型的发现和重用效率。
  2. 本文提出DARA工具，利用深度神经网络架构评估技术，自动检测预训练模型的命名不一致性。
  3. 实验结果显示，DARA在识别模型类型时准确率达到94%，在其他架构元数据上也表现出良好的性能。

📝 摘要（中文）

随着深度学习的创新，许多工程师将预训练模型（PTMs）作为计算系统中的组件。然而，现有的命名实践往往不够准确，导致模型发现和重用的效率低下。本文首次对Hugging Face PTM注册表中的PTM命名实践进行了实证研究，调查了108名用户的反馈，并引入了DARA工具，旨在自动检测PTM命名不一致性。研究表明，DARA在识别模型类型方面的准确率达到94%，并在其他架构元数据上表现出超过70%的性能。该研究为自动化命名不一致性检测奠定了基础，并展望了未来在标准化命名和模型重用方面的应用。

🔬 方法详解

问题定义：本文旨在解决预训练模型（PTMs）命名不一致的问题。现有命名实践往往不准确且误导，影响工程师的模型搜索和重用效率。

核心思路：论文提出DARA工具，利用深度神经网络架构信息来自动检测命名不一致性，旨在提高模型命名的准确性和一致性。

技术框架：DARA的整体架构包括数据收集、模型训练和命名一致性检测三个主要模块。首先，通过对Hugging Face PTM注册表的用户调查收集数据，然后训练模型以识别不同类型的PTMs，最后进行命名一致性检测。

关键创新：DARA的主要创新在于其自动化检测能力，能够基于架构信息识别命名不一致性，准确率达到94%。这一方法与传统的手动命名检查方式有本质区别。

关键设计：DARA的设计包括对深度神经网络架构的特征提取，使用特定的损失函数来优化模型的命名一致性检测能力，并在网络结构上采用了适合于PTM特征的深度学习模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DARA在识别模型类型方面的准确率高达94%，在其他架构元数据的检测中也表现出超过70%的性能。这一成果显著提升了预训练模型命名的一致性和可靠性。

🎯 应用场景

该研究的潜在应用场景包括自动化命名工具的开发，模型验证、预训练模型元数据生成与验证，以及抄袭检测等。DARA工具的引入将有助于提高模型命名的标准化，促进模型的选择与重用，并增强预训练模型供应链的安全性。

📄 摘要（原文）

As innovation in deep learning continues, many engineers are incorporating Pre-Trained Models (PTMs) as components in computer systems. Some PTMs are foundation models, and others are fine-tuned variations adapted to different needs. When these PTMs are named well, it facilitates model discovery and reuse. However, prior research has shown that model names are not always well chosen and can sometimes be inaccurate and misleading. The naming practices for PTM packages have not been systematically studied, which hampers engineers' ability to efficiently search for and reliably reuse these models. In this paper, we conduct the first empirical investigation of PTM naming practices in the Hugging Face PTM registry. We begin by reporting on a survey of 108 Hugging Face users, highlighting differences from traditional software package naming and presenting findings on PTM naming practices. The survey results indicate a mismatch between engineers' preferences and current practices in PTM naming. We then introduce DARA, the first automated DNN ARchitecture Assessment technique designed to detect PTM naming inconsistencies. Our results demonstrate that architectural information alone is sufficient to detect these inconsistencies, achieving an accuracy of 94% in identifying model types and promising performance (over 70%) in other architectural metadata as well. We also highlight potential use cases for automated naming tools, such as model validation, PTM metadata generation and verification, and plagiarism detection. Our study provides a foundation for automating naming inconsistency detection. Finally, we envision future work focusing on automated tools for standardizing package naming, improving model selection and reuse, and strengthening the security of the PTM supply chain.