Skill Weaving: Efficient LLM Improvement via Modular Skillpacks

📄 arXiv: 2605.22205v1 📥 PDF

作者: Zhuo Li, Guodong Du, Zesheng Shi, Weiyang Guo, Weijun Yao, Yuan Zhou, Jiabo Zhang, Jing Li

分类: cs.AI, cs.LG

发布日期: 2026-05-21

备注: Accepted by ACL2026

💡 一句话要点

提出SkillWeave框架以解决大语言模型多领域专门化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 模块化设计 技能包 内存优化 多领域适应性 推理速度提升 知识重组

📋 核心要点

  1. 现有方法在多领域能力与内存和推理速度的严格约束之间难以取得平衡，导致大语言模型的应用受限。
  2. SkillWeave框架通过将通用模型的能力划分为轻量级的领域特定技能包，实现了在固定内存预算下的模型专门化。
  3. 实验结果表明，9B的SkillWeave模型在多任务和智能基准测试中表现优异，超越了多个基线并实现了显著的速度提升。

📝 摘要（中文）

随着大语言模型（LLMs）在多领域应用中的需求增加，现有方法在多领域能力与严格的内存和推理约束之间难以取得平衡。本文提出了SkillWeave，一个模块化改进框架，使得LLMs在固定内存预算下实现专门化。SkillWeave将通用模型的完整能力划分为技能包（skillpacks）——轻量级、领域特定的增量模块，重新组织和精炼模型的内部知识。为了高效部署，SkillWeave集成了SkillZip，将技能包压缩为紧凑且适合推理的格式，从而在低延迟执行下实现强大的多领域性能。在多任务和智能基准测试中，9B的SkillWeave模型超越了多个基线，甚至超过了32B的单体LLM，同时实现了高达4倍的速度提升。

🔬 方法详解

问题定义：本文旨在解决大语言模型在多领域应用中的专门化问题，现有方法在内存和推理速度上存在明显的局限性，无法有效支持多领域能力的提升。

核心思路：SkillWeave框架通过将通用模型的能力划分为多个轻量级的技能包，使得模型能够在固定的内存预算下实现领域特定的专门化，从而提高多领域的适应性和性能。

技术框架：SkillWeave的整体架构包括两个主要模块：技能包的生成与管理，以及技能包的压缩与部署。首先，通过对通用模型的知识进行分析，生成多个领域特定的技能包；然后，利用SkillZip技术对这些技能包进行压缩，以便于高效推理。

关键创新：SkillWeave的核心创新在于模块化的技能包设计，使得模型能够在不增加内存负担的情况下，灵活地适应不同领域的需求。这种设计与传统的单体模型方法有本质区别，后者往往在多领域任务中表现不佳。

关键设计：在技能包的生成过程中，采用了特定的参数设置和损失函数，以确保技能包能够有效捕捉领域特定的知识。此外，SkillZip的压缩算法经过优化，确保在保持性能的同时，显著降低了推理时的内存占用。

📊 实验亮点

实验结果显示，9B的SkillWeave模型在多任务和智能基准测试中表现优异，超越了多个基线模型，甚至在性能上超过了32B的单体LLM，同时实现了高达4倍的推理速度提升，展现了其在多领域应用中的强大潜力。

🎯 应用场景

该研究的潜在应用领域包括智能客服、内容生成、教育辅导等多个需要领域专门化的场景。SkillWeave框架的高效性和灵活性使其能够在资源受限的环境中实现强大的多领域性能，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Large language models increasingly require specialization across diverse domains, yet existing approaches struggle to balance multi-domain capacities with strict memory and inference constraints. In this work, we introduce SkillWeave, a modular improvement framework that enables LLMs to specialize under fixed memory budgets. SkillWeave partitions full capabilities of a general-purpose model into skillpacks -- lightweight, domain-specific delta modules -- that reorganize and refine the model's internal knowledge. For efficient deployment, SkillWeave integrates SkillZip to compress skillpacks into compact and inference-ready format, enabling strong multi-domain performance with low-latency execution. On multi-task and agentic benchmarks, a 9B SkillWeave model outperforms several baselines and even surpasses a 32B monolithic LLM, while achieving up to 4x speedup.