On the Scaling of PEFT: Towards Million Personal Models of Trillion Parameters

📄 arXiv: 2606.02437v1 📥 PDF

作者: Mind Lab, :, Song Cao, Vic Cao, Kaijie Chen, Bunny Fan, Hera Feng, Huan Feng, Arthur Fu, Jun Gao, Hongquan Gu, Aaron Guan, Mutian Hong, Hailee Hou, Peixuan Hua, Charles Huang, Miles Jiang, Nora Jiang, Yuyi Jiang, Autumn Jin, Fancy Kong, Kyrie Lei, Alexy Li, Dawn Li, Ray Li, Theo Li, Wenhao Li, Jiayi Lin, Domini Liu, Heshan Liu, Kairus Liu, Logan Liu, Maeve Luo, Runism Lv, Pony Ma, Verity Niu, Anson Qiu, Vincent Wang, Maxwell Yao, Regis Ye, Wenlin Ye, Yanying Ye, Josh Ying, Danney Zeng, Salmon Zhan, Anya Zhang, Ruijia Zhang, Shiyang Zhang, Sueky Zhang, Ya Zhang, Wei Zhao, Ada Zhou, Sizer Zhou, Xinyue Zhu, Murphy Zhuang

分类: cs.LG, cs.CL

发布日期: 2026-06-01

💡 一句话要点

探索PEFT的扩展性：迈向千亿参数模型的百万个性化版本

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 参数高效微调 PEFT 个性化模型 大语言模型 适配器 模型扩展性 MinT 局部状态

📋 核心要点

  1. 现有方法全量微调成本高昂，PEFT通常被视为廉价替代，但潜力未被充分挖掘。
  2. 论文提出将PEFT适配器视为基础模型之上的持久局部状态，用于存储个性化信息。
  3. 论文从向上、向下、向外三个维度研究PEFT的扩展性，并提供MinT基础设施示例。

📝 摘要（中文）

参数高效微调（PEFT）通常被视为全量微调的一种更经济的替代方案。本文研究了PEFT更广泛的作用：将小型可训练适配器作为强大的共享基础模型之上的持久局部状态。在此框架下，基础模型提供共享能力，而适配器携带实例特定的行为，例如偏好、技能、工具习惯和类似记忆的更新。本文围绕三个扩展轴组织问题：向上扩展（Scale Up），更强的共享先验使得小的局部更新更有用；向下扩展（Scale Down），研究适配器在保持可靠性的前提下可以有多小；向外扩展（Scale Out），许多持久的适配实例共存。MinT提供了一个用于管理适配器身份、修订、来源、评估和服务驻留的基础设施示例。总之，结果表明PEFT可以作为持久个性化模型的紧凑基底，而不仅仅是全量微调的预算替代品。

🔬 方法详解

问题定义：现有的大语言模型微调通常采用全参数微调，计算和存储成本巨大，难以支持大规模个性化模型的部署。参数高效微调（PEFT）虽然降低了成本，但通常被视为全量微调的替代品，其作为持久化个性化状态存储的潜力未被充分挖掘。现有方法缺乏对PEFT扩展性的系统研究，以及支持大规模PEFT模型管理的有效基础设施。

核心思路：论文的核心思路是将PEFT适配器视为基础模型之上的持久化局部状态，用于存储用户特定的偏好、技能、工具使用习惯以及记忆等信息。通过这种方式，基础模型提供通用的知识和能力，而适配器则负责实现个性化。这种设计允许在共享的基础模型之上构建大量的个性化模型，从而降低了部署和维护成本。

技术框架：论文提出了一个围绕PEFT扩展性的研究框架，包含三个主要维度：Scale Up（向上扩展，研究更强的共享先验如何提升PEFT效果），Scale Down（向下扩展，研究适配器在保持性能的前提下可以有多小），以及Scale Out（向外扩展，研究如何管理和部署大量的PEFT模型）。此外，论文还提供了一个名为MinT的基础设施示例，用于管理适配器的身份、版本控制、来源追溯、评估和服务部署。

关键创新：论文最重要的创新在于对PEFT角色的重新定义，将其从全量微调的替代品提升为构建大规模个性化模型的关键技术。通过将适配器视为持久化局部状态，论文提出了一种更加高效和可扩展的个性化建模方法。此外，对PEFT扩展性的系统研究以及MinT基础设施的提出，为大规模PEFT模型的部署和管理提供了指导。

关键设计：论文中MinT基础设施的设计是关键。它需要支持适配器的版本控制，确保可以回溯到之前的状态。同时，需要对适配器的性能进行评估，以确保其能够满足用户的需求。此外，还需要支持适配器的快速部署和服务，以便用户可以随时随地使用个性化模型。具体的参数设置、损失函数和网络结构等技术细节在论文中没有详细描述，属于未来的研究方向。

📊 实验亮点

论文提出了一个名为MinT的基础设施示例，用于管理适配器的身份、版本控制、来源追溯、评估和服务部署。虽然论文没有给出具体的性能数据，但强调了PEFT在三个扩展维度上的潜力，表明PEFT可以作为持久个性化模型的紧凑基底，而不仅仅是全量微调的预算替代品。未来的工作将集中在量化这些收益。

🎯 应用场景

该研究成果可应用于构建大规模个性化AI助手、智能客服、推荐系统等领域。例如，可以为每个用户创建一个个性化的语言模型，该模型能够理解用户的偏好、习惯和知识背景，从而提供更加精准和个性化的服务。此外，该研究还可以促进联邦学习的发展，允许在保护用户隐私的前提下，利用用户数据训练个性化模型。

📄 摘要（原文）

Parameter-efficient fine-tuning (PEFT) is usually treated as a cheaper alternative to full fine-tuning. We study a broader role: small trainable adapters as persistent local state on top of strong shared foundation models. In this framing, the base model provides shared competence while adapters carry instance-specific behavior such as preferences, skills, tool habits, and memory-like updates. We organize the problem around three scaling axes: Scale Up, where stronger shared priors make small local updates more useful; Scale Down, where we study how small adapters can be while remaining reliable; and Scale Out, where many persistent adapted instances coexist. MinT provides one infrastructure example for managing adapter identity, revision, provenance, evaluation, and serving residency. Together, the results suggest that PEFT can be a compact substrate for persistent personal models rather than only a budget substitute for full fine-tuning.