Optimizing Korean-Centric LLMs via Token Pruning

📄 arXiv: 2604.16235v1 📥 PDF

作者: Hoyeol Kim, Hyeonwoo Kim

分类: cs.CL

发布日期: 2026-04-17

备注: 5 pages

💡 一句话要点

通过Token剪枝优化面向韩语的大语言模型，提升生成稳定性和翻译性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Token剪枝 大语言模型 韩语NLP 模型优化 机器翻译

📋 核心要点

  1. 现有大语言模型在处理特定语言任务时，存在冗余参数和语言混淆问题，影响生成质量和效率。
  2. 论文提出token剪枝方法，移除与目标语言无关的token和嵌入参数，减少模型体积，降低语言混淆。
  3. 实验表明，token剪枝能显著提升韩语相关任务的生成稳定性，并在机器翻译任务中提高性能，验证了其有效性。

📝 摘要（中文）

本文系统性地评估了通过token剪枝优化的多语言大语言模型（LLMs），token剪枝是一种压缩技术，可以消除与目标应用无关的语言的token和嵌入参数。本文聚焦于以韩语为中心的自然语言处理（NLP）任务，评估了包括Qwen3、Gemma-3、Llama-3和Aya在内的架构，使用了原始、英韩（EnKo）和英韩中（EnKoZh）三种词汇表配置。通过通用能力、文化素养、指令遵循和机器翻译等既定基准评估性能。研究结果表明，token剪枝通过消除语言混淆显著提高了生成稳定性，并且在机器翻译中，经常可以提高韩语特定任务的性能。虽然指令遵循能力表现出与潜在跨语言表示相关的架构依赖性差异，但词汇量的大幅减少验证了token剪枝作为一种针对内存受限、领域特定部署的高效优化策略，尽管在推理延迟方面收益不大。

🔬 方法详解

问题定义：现有的大型多语言模型在处理特定语言（如韩语）任务时，由于包含大量其他语言的token和参数，导致模型体积庞大，推理效率降低，并且容易出现语言混淆，影响生成质量。现有的方法缺乏针对特定语言的有效优化手段，难以在资源受限的场景下部署高性能的韩语NLP应用。

核心思路：本文的核心思路是通过token剪枝，移除模型中与目标语言（韩语）无关的token和嵌入参数。这样可以有效减小模型体积，降低语言混淆的风险，从而提高模型在韩语相关任务上的生成稳定性和性能。这种方法旨在针对特定语言进行优化，提升资源利用率。

技术框架：本文的整体框架包括以下几个主要步骤：1) 选择预训练的多语言大语言模型，如Qwen3、Gemma-3、Llama-3和Aya；2) 构建不同词汇表配置的模型，包括原始词汇表、英韩（EnKo）词汇表和英韩中（EnKoZh）词汇表；3) 对模型进行token剪枝，移除与目标语言无关的token和嵌入参数；4) 在一系列韩语相关的NLP任务上评估模型的性能，包括通用能力、文化素养、指令遵循和机器翻译。

关键创新：本文最重要的技术创新点在于系统性地研究了token剪枝在优化面向韩语的大语言模型中的效果。与传统的模型压缩方法不同，token剪枝直接针对词汇表进行优化，移除不必要的语言信息，从而更有效地减小模型体积，降低语言混淆。此外，本文还评估了不同架构和词汇表配置对token剪枝效果的影响，为实际应用提供了指导。

关键设计：本文的关键设计包括：1) 选择了多种具有代表性的多语言大语言模型进行评估；2) 构建了不同粒度的词汇表配置，以研究token剪枝的效果；3) 使用了一系列既定的韩语NLP基准进行性能评估，保证了实验结果的可靠性和可比性；4) 重点关注了生成稳定性和机器翻译性能的提升，并分析了指令遵循能力的变化。

📊 实验亮点

实验结果表明，token剪枝能够显著提高韩语相关任务的生成稳定性，并经常提升机器翻译性能。例如，在某些韩语特定任务上，机器翻译性能得到了显著提升。虽然指令遵循能力存在架构依赖性差异，但词汇量的大幅减少（具体数值未知）验证了token剪枝作为一种高效优化策略的有效性。推理延迟的提升相对较小，但模型体积的减小对于内存受限的场景至关重要。

🎯 应用场景

该研究成果可应用于各种韩语相关的自然语言处理任务，例如韩语机器翻译、韩语文本生成、韩语对话系统等。通过token剪枝优化后的模型可以部署在资源受限的设备上，例如移动设备或嵌入式系统，从而实现高效的韩语NLP应用。此外，该方法还可以推广到其他特定语言的优化，具有广泛的应用前景。

📄 摘要（原文）

This paper presents a systematic benchmark of state-of-the-art multilingual large language models (LLMs) adapted via token pruning - a compression technique that eliminates tokens and embedding parameters corresponding to languages irrelevant to the target application. Focusing on Korean-centric natural language processing (NLP) tasks, we evaluate architectures including Qwen3, Gemma-3, Llama-3, and Aya across three vocabulary configurations: Original, English-Korean (EnKo), and English-Korean-Chinese (EnKoZh). Performance is assessed using established benchmarks for general aptitude, cultural literacy, instruction following, and machine translation. Our findings indicate that token pruning significantly improves generation stability by eliminating language confusion, and in the case of machine translation, frequently enhances performance on Korean-specific tasks. While instruction-following capabilities display architecture-dependent variance linked to latent cross-lingual representations, the significant reduction in vocabulary size validates token pruning as a highly effective optimization strategy for memory-constrained, domain-specific deployments, despite modest gains in inference latency.