Fishing for Magikarp: Automatically Detecting Under-trained Tokens in Large Language Models

📄 arXiv: 2405.05417v2 📥 PDF

作者: Sander Land, Max Bartolo

分类: cs.CL

发布日期: 2024-05-08 (更新: 2024-09-27)

备注: 16 pages, 6 figures. Accepted at EMNLP 2024, main track. For associated code, see https://github.com/cohere-ai/magikarp/

💡 一句话要点

提出自动检测方法，识别大型语言模型中欠训练的token，提升模型安全性和效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 欠训练token Tokenizer分析 模型安全 Prompting技术

📋 核心要点

  1. 现有方法难以有效识别大型语言模型中存在的、在训练数据中稀缺的“glitch token”，导致模型行为异常。
  2. 结合tokenizer分析、模型权重指标和prompting技术，提出自动检测欠训练token的新方法。
  3. 实验表明，该方法能有效检测多种模型中的欠训练token，有助于提升模型安全性和效率。

📝 摘要（中文）

大型语言模型中，tokenizer的创建与模型训练的脱节可能导致特定输入（例如SolidGoldMagikarp token）引发不良模型行为。尽管这种“glitch token”，即存在于tokenizer词汇表中但在模型训练期间几乎或完全缺失的token，已在各种模型中被观察到，但一直缺乏可靠的识别和解决此类token的方法。本文对大型语言模型的tokenizer进行了全面分析，专门针对检测欠训练token的问题。通过tokenizer分析、基于模型权重的指标和prompting技术相结合，开发了新颖有效的方法来自动检测这些有问题的token。研究结果表明，此类token在各种模型中普遍存在，并为提高语言模型的效率和安全性提供了见解。

🔬 方法详解

问题定义：论文旨在解决大型语言模型中存在的“glitch token”问题，即tokenizer中包含但模型训练数据中极少出现的token。这些token可能导致模型产生意外或不良行为。现有方法缺乏可靠的自动检测机制，难以有效识别和处理这些token。

核心思路：论文的核心思路是结合tokenizer的静态分析、模型权重的动态分析以及prompting技术，从多个维度来识别欠训练的token。通过分析token在tokenizer中的属性、模型权重对token的响应以及模型对包含token的prompt的输出，综合判断token是否为欠训练token。

技术框架：该方法包含三个主要模块：1) Tokenizer分析：分析tokenizer的词汇表，提取token的长度、频率等信息。2) 模型权重分析：分析模型权重对不同token的响应，例如embedding向量的范数、梯度等。3) Prompting技术：设计特定的prompt，观察模型对包含目标token的prompt的输出，判断模型是否对该token理解不足。将三个模块的结果进行综合分析，得到最终的欠训练token列表。

关键创新：该方法最重要的创新在于结合了静态的tokenizer分析、动态的模型权重分析以及基于prompting的行为分析，从而能够更全面、准确地识别欠训练的token。与现有方法相比，该方法无需人工干预，能够自动地检测欠训练token，并且能够适用于不同的模型。

关键设计：在模型权重分析中，论文使用了embedding向量的L2范数作为指标，衡量模型对token的表示强度。在prompting技术中，论文设计了一系列包含目标token的prompt，并使用困惑度（perplexity）来衡量模型对prompt的理解程度。此外，论文还使用了阈值来过滤掉不重要的token，从而提高检测效率。

📊 实验亮点

实验结果表明，该方法能够有效地检测出多种大型语言模型（包括GPT-2、GPT-3等）中存在的欠训练token。通过对比不同模型的检测结果，发现欠训练token的分布具有一定的规律性。例如，某些特殊字符或罕见词汇更容易成为欠训练token。该方法为后续研究提供了重要的参考。

🎯 应用场景

该研究成果可应用于大型语言模型的安全性和效率提升。通过自动检测欠训练token，可以避免模型产生意外或不良行为，提高模型的鲁棒性和可靠性。此外，该方法还可以用于优化tokenizer的设计，减少冗余token，提高模型的训练效率。

📄 摘要（原文）

The disconnect between tokenizer creation and model training in language models allows for specific inputs, such as the infamous SolidGoldMagikarp token, to induce unwanted model behaviour. Although such `glitch tokens', tokens present in the tokenizer vocabulary but that are nearly or entirely absent during model training, have been observed across various models, a reliable method to identify and address them has been missing. We present a comprehensive analysis of Large Language Model tokenizers, specifically targeting this issue of detecting under-trained tokens. Through a combination of tokenizer analysis, model weight-based indicators, and prompting techniques, we develop novel and effective methods for automatically detecting these problematic tokens. Our findings demonstrate the prevalence of such tokens across a diverse set of models and provide insights into improving the efficiency and safety of language models.