Scaling Down Semantic Leakage: Investigating Associative Bias in Smaller Language Models

📄 arXiv: 2501.06638v1 📥 PDF

作者: Veronika Smilga

分类: cs.CL

发布日期: 2025-01-11

🔗 代码/项目: GITHUB

💡 一句话要点

研究小型语言模型中的语义泄露现象，揭示模型规模与联想偏差的关系

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语义泄露 语言模型 联想偏差 小型模型 模型规模 Qwen2.5 颜色联想

📋 核心要点

  1. 现有研究主要关注大型语言模型的语义泄露，忽略了小型模型可能存在的联想偏差问题。
  2. 本文通过构建颜色相关的提示数据集，系统评估不同规模语言模型的语义泄露程度。
  3. 实验结果表明，小型模型总体上语义泄露较少，但模型规模与泄露程度并非完全线性相关。

📝 摘要（中文）

本文研究了由Gonen等人(2024)提出的语义泄露现象，即语言模型生成中出现从训练数据中学到的、非预期甚至是不期望的联想。以往工作主要关注大型语言模型（70亿参数以上）中的泄露。本研究使用Qwen2.5模型家族，探索参数量从5亿到70亿的小型模型是否因其捕捉复杂联想的能力有限而表现出较少的语义泄露。基于Gonen等人(2024)的数据集，本文引入了一个新的以颜色为中心的提示数据集，并将其分为特定的语义联想类型，以系统地评估模型的性能。结果表明，小型模型总体上表现出较少的语义泄露，但这种趋势并非严格线性，中等规模的模型有时在泄露行为上超过大型模型。数据集、模型生成结果和评估代码已公开。

🔬 方法详解

问题定义：论文旨在研究小型语言模型中是否存在语义泄露现象，以及模型规模与语义泄露程度之间的关系。现有研究主要集中在大型语言模型上，缺乏对小型语言模型中语义泄露的系统性分析。大型语言模型容易在生成文本中无意地暴露出训练数据中的关联性，导致不期望的偏差或刻板印象。

核心思路：核心思路是通过构建特定类型的提示数据集，系统地评估不同规模语言模型在生成文本时表现出的语义泄露程度。通过分析模型在特定提示下的生成结果，可以量化模型对训练数据中潜在关联性的记忆和利用程度，从而揭示模型规模与语义泄露之间的关系。

技术框架：该研究的技术框架主要包括以下几个步骤：1. 构建以颜色为中心的提示数据集，并将其分为不同的语义联想类型。2. 选择Qwen2.5模型家族中不同规模的模型（500M到7B参数）。3. 使用构建的数据集对模型进行提示，并生成文本。4. 对生成的文本进行分析，评估模型表现出的语义泄露程度。5. 分析模型规模与语义泄露程度之间的关系。

关键创新：关键创新在于针对小型语言模型构建了专门的、以颜色为中心的提示数据集，并将其细分为不同的语义联想类型。这种细粒度的划分使得能够更精确地评估模型在不同类型的语义联想上的泄露程度。此外，该研究系统地比较了不同规模语言模型的语义泄露程度，揭示了模型规模与语义泄露之间非线性的关系。

关键设计：数据集的关键设计在于围绕颜色构建提示，并将其分为不同的语义联想类型，例如颜色与情感、颜色与物体、颜色与文化等。通过控制提示的内容和类型，可以更精确地评估模型在特定语义联想上的泄露程度。模型的选择上，选择了Qwen2.5模型家族，该家族提供了不同规模的模型，方便进行对比研究。评估指标方面，采用了人工评估和自动评估相结合的方式，以更全面地评估模型的语义泄露程度。具体的技术细节，如损失函数、网络结构等，沿用了Qwen2.5模型家族的默认设置，没有进行特别的修改。

📊 实验亮点

实验结果表明，小型模型总体上表现出较少的语义泄露，但模型规模与泄露程度并非完全线性相关。中等规模的模型有时在泄露行为上超过大型模型。例如，在某些特定类型的语义联想上，500M的模型表现出最低的泄露程度，而1.8B的模型则表现出最高的泄露程度。7B的模型泄露程度介于两者之间，但总体上低于1.8B的模型。

🎯 应用场景

该研究成果可应用于评估和改进语言模型的安全性和可靠性，尤其是在需要避免偏差和刻板印象的场景中，例如内容生成、对话系统和教育应用。通过了解模型规模与语义泄露之间的关系，可以更好地选择合适的模型规模，并在训练过程中采取相应的措施来减少语义泄露，从而提高模型的公平性和可控性。

📄 摘要（原文）

Semantic leakage is a phenomenon recently introduced by Gonen et al. (2024). It refers to a situation in which associations learnt from the training data emerge in language model generations in an unexpected and sometimes undesired way. Prior work has focused on leakage in large language models (7B+ parameters). In this study, I use Qwen2.5 model family to explore whether smaller models, ranging from 500M to 7B parameters, demonstrate less semantic leakage due to their limited capacity for capturing complex associations. Building on the previous dataset from Gonen et al. (2024), I introduce a new dataset of color-focused prompts, categorized into specific types of semantic associations, to systematically evaluate the models' performance. Results indicate that smaller models exhibit less semantic leakage overall, although this trend is not strictly linear, with medium-sized models sometimes surpassing larger ones in leaking behavior. The dataset, the model generations, and the evaluation code are publicly available at https://github.com/smilni/semantic_leakage_project.