Unsupervised Model Tree Heritage Recovery
作者: Eliahu Horwitz, Asaf Shul, Yedid Hoshen
分类: cs.LG
发布日期: 2024-05-28 (更新: 2025-04-15)
备注: ICLR 2025. Project page: https://horwitz.ai/mother
💡 一句话要点
提出无监督模型树溯源方法，解决模型传承关系自动发现难题。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 模型传承 模型溯源 无监督学习 模型权重分析 最小生成树
📋 核心要点
- 现有模型文档不完善，模型卡等元数据通常无法提供准确的传承信息，导致知识产权纠纷。
- 通过分析模型权重，发现模型间的传承关系，将问题转化为寻找有向最小生成树。
- 实验证明，该方法能够有效地重建复杂的模型树，为模型传承关系溯源提供了一种新途径。
📝 摘要（中文）
随着在线共享模型数量的激增，模型传承关系变得越来越重要。为了解决模型知识产权问题，本文提出了无监督模型树传承恢复（Unsupervised MoTHer Recovery）任务，旨在从神经网络集合中自动构建模型树。该任务要求判断模型之间是否存在直接的传承关系，并确定关系方向。论文假设模型权重编码了传承信息，并探索了模型权重的若干性质，将MoTHer Recovery任务转化为寻找有向最小生成树的问题。实验结果表明，该方法能够成功重建复杂的模型树。
🔬 方法详解
问题定义：论文旨在解决无监督条件下，从一组神经网络模型中自动恢复模型树的结构，即确定哪些模型之间存在直接的微调关系，以及微调的方向。现有方法依赖于模型提供者手动维护的模型卡等元数据，但这些信息往往不准确或缺失，无法可靠地确定模型之间的传承关系。
核心思路：论文的核心思路是假设模型权重中蕴含了模型传承的信息。通过分析模型权重之间的关系，可以推断出模型之间的微调关系。具体来说，如果模型A微调自模型B，那么模型A的权重应该在某种程度上受到模型B权重的影响。因此，可以通过分析模型权重之间的相似性或距离，来判断模型之间是否存在微调关系。
技术框架：该方法将模型树传承恢复问题转化为寻找有向最小生成树的问题。首先，计算模型两两之间的相似度或距离，构建一个完全图，其中节点代表模型，边的权重代表模型之间的相似度或距离。然后，使用最小生成树算法（例如，Chu-Liu/Edmonds算法）在该图上找到一个有向最小生成树。该生成树即为恢复出的模型树，树的根节点为基础模型，其他节点为微调模型，边的方向表示微调的方向。
关键创新：该方法最重要的创新点在于提出了利用模型权重来推断模型传承关系的思想，并将其形式化为寻找有向最小生成树的问题。与依赖人工标注或元数据的方法相比，该方法是无监督的，可以自动地从模型权重中提取传承信息。
关键设计：论文中需要选择合适的模型权重相似度/距离度量方法。此外，最小生成树算法的选择也会影响最终结果。论文可能还涉及到一些后处理步骤，例如，去除冗余的边或调整树的结构，以提高模型树的准确性。
🖼️ 关键图片
📊 实验亮点
论文通过实验验证了所提出方法的有效性，能够成功重建复杂的模型树。具体的性能数据（例如，模型树的准确率、召回率等）和对比基线（例如，基于元数据的方法、随机方法等）未知，但摘要中提到该方法在重建复杂模型树方面表现出色。
🎯 应用场景
该研究成果可应用于模型知识产权保护、模型溯源、模型安全审计等领域。通过自动构建模型树，可以清晰地展示模型的传承关系，从而解决模型版权纠纷，追踪恶意模型的来源，并促进模型的可复用性和可追溯性。未来，该技术可以集成到模型共享平台，为用户提供模型传承关系的可视化和查询功能。
📄 摘要（原文）
The number of models shared online has recently skyrocketed, with over one million public models available on Hugging Face. Sharing models allows other users to build on existing models, using them as initialization for fine-tuning, improving accuracy, and saving compute and energy. However, it also raises important intellectual property issues, as fine-tuning may violate the license terms of the original model or that of its training data. A Model Tree, i.e., a tree data structure rooted at a foundation model and having directed edges between a parent model and other models directly fine-tuned from it (children), would settle such disputes by making the model heritage explicit. Unfortunately, current models are not well documented, with most model metadata (e.g., "model cards") not providing accurate information about heritage. In this paper, we introduce the task of Unsupervised Model Tree Heritage Recovery (Unsupervised MoTHer Recovery) for collections of neural networks. For each pair of models, this task requires: i) determining if they are directly related, and ii) establishing the direction of the relationship. Our hypothesis is that model weights encode this information, the challenge is to decode the underlying tree structure given the weights. We discover several properties of model weights that allow us to perform this task. By using these properties, we formulate the MoTHer Recovery task as finding a directed minimal spanning tree. In extensive experiments we demonstrate that our method successfully reconstructs complex Model Trees.