What is a Number, That a Large Language Model May Know It?
作者: Raja Marjieh, Veniamin Veselovsky, Thomas L. Griffiths, Ilia Sucholutsky
分类: cs.CL, cs.AI
发布日期: 2025-02-03
备注: 16 pages, 8 figures
💡 一句话要点
揭示大语言模型中数字表示的字符串与数值双重性及影响
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 数字表示 相似性判断 字符串距离 数值距离
📋 核心要点
- 大语言模型需要有效表示数字，但数字在不同语境下具有字符串和数值的双重身份，这给模型带来了挑战。
- 论文利用基于相似性的提示技术，揭示了大语言模型中数字的表示空间混合了字符串和数值的特性。
- 实验表明，这种混合表示会影响模型的决策，并且可以通过上下文进行调节，但无法完全消除。
📝 摘要（中文）
数字是人类表示和描述世界的基础。因此，对于日益融入日常决策的大语言模型而言，学习有效的数字表示至关重要。然而，这些模型面临一个挑战：根据上下文，相同的数字序列（例如，911）既可以被视为数字，也可以被视为字符串。这种双重性会产生什么样的表示，以及它对下游任务有什么影响？我们使用认知科学中基于相似性的提示技术，表明大语言模型学习到的表示空间混合了字符串式和数值式表示。特别是，我们表明，这些模型对整数对的相似性判断可以通过Levenshtein编辑距离和数值对数线性距离的组合来捕捉，这表明存在一种纠缠的表示。在一系列实验中，我们展示了这种纠缠如何在潜在嵌入中反映出来，如何通过上下文减少但不能完全消除，以及如何传播到真实的决策场景中。这些结果揭示了Transformer模型在从文本输入中学习数字概念时所面临的表示张力。
🔬 方法详解
问题定义：论文旨在研究大语言模型如何表示数字，特别是当数字既可以被视为数值，又可以被视为字符串时，模型内部的表示形式。现有方法未能充分理解这种双重性对模型性能的影响，以及这种双重性如何在模型的潜在空间中体现。
核心思路：论文的核心思路是利用认知科学中的相似性判断方法，通过提示大语言模型比较数字对的相似性，来推断模型内部的数字表示形式。通过分析模型输出的相似性判断，可以揭示模型是否同时考虑了数字的数值和字符串属性。
技术框架：论文采用了一种基于相似性的提示技术。首先，构建一系列数字对，并使用提示语引导大语言模型判断这些数字对的相似性。然后，将模型输出的相似性判断结果与两种距离度量进行比较：Levenshtein编辑距离（衡量字符串相似性）和数值对数线性距离（衡量数值相似性）。最后，通过分析这两种距离度量对模型相似性判断的解释力，来推断模型内部的数字表示形式。
关键创新：论文的关键创新在于将认知科学的相似性判断方法应用于分析大语言模型的内部表示。通过这种方法，论文揭示了大语言模型中数字表示的字符串和数值双重性，并量化了这两种属性在模型表示中的权重。
关键设计：论文的关键设计包括：1) 精心设计的提示语，用于引导大语言模型进行相似性判断；2) 选择Levenshtein编辑距离和数值对数线性距离作为衡量字符串和数值相似性的指标；3) 使用回归分析来量化这两种距离度量对模型相似性判断的解释力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，大语言模型对数字的相似性判断可以被Levenshtein编辑距离和数值对数线性距离的组合所解释，这表明模型内部存在一种纠缠的表示。实验还发现，通过上下文可以减少这种纠缠，但无法完全消除。此外，这种纠缠的表示会传播到真实的决策场景中，影响模型的决策结果。
🎯 应用场景
该研究成果可应用于提升大语言模型在涉及数字推理和计算的任务中的性能，例如金融分析、科学计算和数据分析等领域。理解模型如何表示数字有助于开发更可靠、更可解释的AI系统，并减少模型在处理数字时的偏差和错误。未来的研究可以探索如何解耦数字的字符串和数值表示，从而提高模型的泛化能力。
📄 摘要（原文）
Numbers are a basic part of how humans represent and describe the world around them. As a consequence, learning effective representations of numbers is critical for the success of large language models as they become more integrated into everyday decisions. However, these models face a challenge: depending on context, the same sequence of digit tokens, e.g., 911, can be treated as a number or as a string. What kind of representations arise from this duality, and what are its downstream implications? Using a similarity-based prompting technique from cognitive science, we show that LLMs learn representational spaces that blend string-like and numerical representations. In particular, we show that elicited similarity judgments from these models over integer pairs can be captured by a combination of Levenshtein edit distance and numerical Log-Linear distance, suggesting an entangled representation. In a series of experiments we show how this entanglement is reflected in the latent embeddings, how it can be reduced but not entirely eliminated by context, and how it can propagate into a realistic decision scenario. These results shed light on a representational tension in transformer models that must learn what a number is from text input.