Who Gets a Token, and What Does It Carry? Unequal Name Support and Concept Access in Large Language Models
作者: Mir Tafseer Nayeem, Davood Rafiei
分类: cs.CL, cs.AI, cs.CY, cs.ET, cs.LG
发布日期: 2026-09-28
备注: Preprint
💡 一句话要点
提出NameTrace框架以解决语言模型中的不平等名称支持问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 姓名支持 语言模型 概念可访问性 NameTrace 公平性评估 模型透明度 种族偏见 性别偏见
📋 核心要点
- 现有的语言模型评估通常假设匹配的姓名是可比的输入，但这一假设在实际应用中常常失效，导致对不同人群的处理不均衡。
- 本文提出了NameTrace框架，旨在测量姓名在语言模型中的支持程度及其对任务相关概念的可访问性，提供了更细致的评估方法。
- 实验结果表明，不同姓名的支持程度与概念可访问性之间存在系统性差异，这种差异在多种任务中均得到了验证，且在不同模型家族中普遍存在。
📝 摘要（中文）
姓名作为个人标识符，不仅具有社会意义，还广泛用于评估语言模型对不同人群的处理方式。本文揭示了在词汇接口上，匹配的姓名并不总是可比的输入，部分姓名获得直接的单词访问，而其他姓名则由多个子词组成，导致名称表面支持的不平等。通过分析近50万个名字和12种大语言模型相关的分词器，发现直接的词汇访问高度选择性，且在种族和性别相关的姓名元数据上存在不均衡。我们提出了NameTrace框架，用于测量这种不平等支持是否在任务相关的内部表示中显现。
🔬 方法详解
问题定义：本文旨在解决语言模型中姓名支持的不平等问题，现有方法未能充分考虑姓名的词汇访问差异，导致对不同人群的评估不准确。
核心思路：通过引入NameTrace框架，论文测量姓名在模型中的支持程度，并分析其对任务相关概念的可访问性，强调词汇可比性的重要性。
技术框架：NameTrace框架包括多个模块，首先评估姓名的词汇支持，然后通过模型的概率分布分析任务相关的概念可访问性，最后进行隐藏状态干预以验证结果。
关键创新：最重要的创新在于将姓名的词汇支持与任务相关的内部表示相结合，揭示了姓名支持的结构性不平等，这在现有研究中尚未得到充分探讨。
关键设计：框架中使用了任务特定的形容词轴和连续的任务对齐权重，确保了对姓名支持的细致测量，且在不同种族和性别相关的姓名层次中保持一致性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在相同种族/性别层次中，姓名的支持程度与概念可访问性之间存在显著的系统性差异。不同模型家族中，这种差异普遍存在，并且在未见姓名上也能转移，表明姓名支持的不平等具有广泛的影响。
🎯 应用场景
该研究的潜在应用领域包括招聘、临床评估和信贷决策等，能够帮助识别和减少在这些领域中因姓名引起的潜在偏见。未来，NameTrace框架可用于改进语言模型的公平性和透明度，推动更公正的人工智能应用。
📄 摘要（原文）
Names are personal identifiers, but they also carry social meaning and are widely used to evaluate how language models treat different people. Such evaluations typically assume that matched names are comparable model inputs. We show that this assumption often fails at the lexical interface: matched names are not necessarily matched inputs. Some names receive direct single-token access, while others are assembled from multiple subwords, creating unequal name-surface support. Across nearly half a million first names and 12 LLM-associated tokenizers, direct lexical access is highly selective, model dependent, and uneven across race- and gender-associated name metadata. We introduce NameTrace, a model-native, fine-grained, pre-behavioral framework for measuring whether unequal name-surface support remains a vocabulary property or becomes visible in task-relevant internal representations. NameTrace measures concept accessibility from the model's own probabilities over task-specific adjective axes with continuous task-aligned weights. On matched atomic and short-fragmented names within the same race/ethnicity--gender-associated strata, support predicts systematic differences in concept accessibility across fellowship, hiring, clinical assessment, and lending. These differences persist across all eight matched strata, extend across model families, and transfer to unseen names. Hidden-state interventions further show that the measured task directions have downstream leverage, shifting later constrained choices. Unequal lexical support is therefore demographically structured at the input and remains visible in task-relevant model computation. NameTrace makes lexical comparability measurable, supporting a broader principle: behavioral comparability begins with lexical comparability.