AdaptiVocab: Enhancing LLM Efficiency in Focused Domains through Lightweight Vocabulary Adaptation
作者: Itay Nakash, Nitay Calderon, Eyal Ben David, Elad Hoffer, Roi Reichart
分类: cs.CL
发布日期: 2025-03-25 (更新: 2025-08-01)
💡 一句话要点
AdaptiVocab：通过轻量级词汇表适配提升LLM在特定领域的效率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 词汇表自适应 领域自适应 大型语言模型 效率优化 n-gram 低资源领域 轻量级微调
📋 核心要点
- 现有LLM虽然通用性强，但在特定领域应用时计算开销大，效率较低，存在冗余。
- AdaptiVocab通过领域自适应的词汇表调整，用领域特定的n-gram tokens替换通用tokens，减少token数量。
- 实验表明，AdaptiVocab在三个特定领域中，token使用量减少超过25%，同时保持了性能。
📝 摘要（中文）
大型语言模型(LLM)作为通用模型展现了令人印象深刻的通用性。然而，其广泛的适用性带来了高昂的计算开销，尤其是在自回归解码中，每一步都需要一次前向传递。在特定领域的设置中，通用能力是不必要的，并且可以换取效率。在这项工作中，我们采用了一种新颖的领域自适应视角，通过将词汇表调整到感兴趣的特定领域来降低延迟和计算成本。我们介绍AdaptiVocab，一种用于词汇表自适应的端到端方法，旨在提高LLM在低资源领域的效率。AdaptiVocab可以应用于任何tokenizer和架构，通过用特定领域的基于n-gram的tokens替换tokens来修改词汇表，从而减少输入处理和输出生成所需的tokens数量。AdaptiVocab使用现有embeddings的指数加权组合来初始化新的n-token embeddings，并采用可以在单个GPU上有效执行的轻量级微调阶段。我们在三个利基领域评估了两个7B LLM，评估了效率、生成质量和最终任务性能。我们的结果表明，AdaptiVocab在不影响性能的情况下，将token使用量减少了25%以上。
🔬 方法详解
问题定义：论文旨在解决大型语言模型（LLM）在特定领域应用时效率低下的问题。现有通用LLM的词汇表包含大量与特定领域无关的tokens，导致在处理和生成领域相关文本时需要更多的tokens和计算资源，从而增加了延迟和计算成本。
核心思路：论文的核心思路是通过自适应地调整LLM的词汇表，使其更适合特定领域。具体来说，就是用领域相关的n-gram tokens替换原始词汇表中的tokens，从而减少表示领域文本所需的token数量。这种方法旨在在不牺牲性能的前提下，提高LLM在特定领域的效率。
技术框架：AdaptiVocab的整体框架包含以下几个主要步骤：1) 领域数据收集：收集特定领域的文本数据。2) n-gram提取：从领域数据中提取高频n-gram。3) 词汇表替换：用提取的n-gram tokens替换原始词汇表中的tokens。4) Embedding初始化：使用现有embeddings的指数加权组合来初始化新的n-gram token embeddings。5) 轻量级微调：在特定领域的数据上对LLM进行微调，以适应新的词汇表。
关键创新：AdaptiVocab的关键创新在于其端到端的词汇表自适应方法，该方法能够有效地将LLM的词汇表调整到特定领域，从而在不影响性能的情况下显著提高效率。与传统的领域自适应方法相比，AdaptiVocab直接修改词汇表，避免了对整个模型进行大规模的重新训练。
关键设计：AdaptiVocab的关键设计包括：1) n-gram选择策略：选择哪些n-gram tokens进行替换，需要平衡tokens的频率和长度。2) Embedding初始化方法：使用指数加权组合现有embeddings，可以有效地初始化新的n-gram token embeddings，避免了随机初始化带来的训练困难。3) 轻量级微调策略：采用低学习率和少量训练步骤的微调策略，可以在单个GPU上快速完成微调，同时避免过拟合。
🖼️ 关键图片
📊 实验亮点
实验结果表明，AdaptiVocab在三个利基领域（包括法律、科学和代码）中，token使用量减少了超过25%，同时保持了与原始LLM相当的性能。例如，在某些任务上，AdaptiVocab甚至略微提高了性能。这些结果证明了AdaptiVocab在提高LLM效率方面的有效性。
🎯 应用场景
AdaptiVocab可应用于各种需要高效LLM推理的特定领域，如医疗、金融、法律等。通过减少token数量和计算开销，可以降低部署成本，提高响应速度，并使LLM能够在资源受限的环境中运行。未来，该方法可以扩展到多语言场景，或与其他模型压缩技术结合，进一步提升效率。
📄 摘要（原文）
Large Language Models (LLMs) have shown impressive versatility as general purpose models. However, their broad applicability comes at a high-cost computational overhead, particularly in auto-regressive decoding where each step requires a forward pass. In domain-specific settings, general-purpose capabilities are unnecessary and can be exchanged for efficiency. In this work, we take a novel perspective on domain adaptation, reducing latency and computational costs by adapting the vocabulary to focused domains of interest. We introduce AdaptiVocab, an end-to-end approach for vocabulary adaptation, designed to enhance LLM efficiency in low-resource domains. AdaptiVocab can be applied to any tokenizer and architecture, modifying the vocabulary by replacing tokens with domain-specific n-gram-based tokens, thereby reducing the number of tokens required for both input processing and output generation. AdaptiVocab initializes new n-token embeddings using an exponentially weighted combination of existing embeddings and employs a lightweight fine-tuning phase that can be efficiently performed on a single GPU. We evaluate two 7B LLMs across three niche domains, assessing efficiency, generation quality, and end-task performance. Our results show that AdaptiVocab reduces token usage by over 25% without compromising performance